Min sambo och jag bråkar om sambons ex.

Hej! 
Jag och min sambo har varit tillsammans i 4 år. Vi har precis fått ett barn tillsammans. Han har 3 barn sen ett tidigare förhållande. Vi har barnen varannan helg. Vi vill ha dom varannan vecka men mamman till barnen säger nej till det. 
Min sambo säger att han vill det men han gör inget åt saken. Det är jag som får säga till han ordentligt att göra nått och då gör han det lite halvdant. 
Jag mår väldigt dåligt över det här. Jag vill ha en familj där alla är delaktiga och får känna att dom tillhör familjen. 
Vi kan inte planera nått för Vi vet inte om vi får ha barnen på helgerna eller på loven. Mamman bestämmer allt. 
Jag har tröttnat på att ha det så här, andra min sambo verkar förstå mig men det händer väldigt lite. Jag vet inte vad jag ska göra, jag mår så dåligt över att inte ha familjen komplett vi gör saker som dom andra barnen missar. Det är hemskt. Vi har försökt stt gå till familjerätten men det händer inte så mycket där. J