Stötta någon att bygga upp sin självkänsla

Jag träffade för några månader sedan en helt fantastisk man och vi blev snabbt ett par.
Han har varit gift och har ett barn som blir myndigt inom nåt år. Men skild sedan 5 eller 6 år tillbaka och varit singel sen dess.
Exfrun bröt under äktenskapet ner honom psykiskt, hon har gått vidare i ett nytt förhållande men ringer 1-2 gånger i veckan (av det jag är med) och då ringer hon konstant tills han svarar, vilket blir ganska påfrestande. han vill ha så lite som möjligt med henne att göra och med tanke på av de samtal jag varit i närheten och hört och det han berättat om henne så förstår jag honom. 
Tydligen har det eskalerat sedan han träffade mig.
För det första känner jag att han måste sätta ner foten, hur stöttar jag honom i det? Känslan är att han är så van att ha det såhär så han bara accepterar, men jag vill bygga ett liv med den här mannen, men inte med en sådan exfru som är ständigt närvarande och liksom kräver uppmärksamhet. Det är som en tyngd över honom speciellt efter dessa samtal, barnet är ju ändå 17 och rätt självgående, sköter skola osv. bor mest hos pappa, vilket barnet valt själv.

Sen är det som att han tror att jag måste göra precis allt för mig och liksom blir förvånad när ag tar tag i det jag vill ha gjort själv, tycker vi olika är han snabb att att säga förlåt vilket jag inte förstår riktigt, man tycker inte alltid lika men man behöver inte be om förlåt för det. 
Tips för att stötta den här mannen till bättre självkänsla och få exfrun att fatta att det inte är okej det hon gör mottages tacksamt.