Nagyszülő láthatási joga?

Sziasztok! Tanácsot szeretnék kérni. Párom szüleivel nagyon rossz a viszonyunk mindkettőnknek. Igazából 6 éve tart ez a rossz viszony köztünk. A lényeg az, hogy ez alatt a 6 év alatt többször próbáltunk egy normális viszonyt kialakítani velük, sajnos sikertelenül. Ideig óráig működött, de a vége mindig az lett, hogy megromlott velük a kapcsolatunk. Nemrég született meg azonban a gyermekünk és a viselkedésük miatt szeretnénk magunkat, illetve főként gyermekünket tőlük távol tartani. Várandósságom alatt is elfogadhatatlanul viselkedtek, mégis kaptak egy esélyt, mikor megszületett a babánk. Sajnos azonban most se változtattak semmin se, ráadásul nagyon durva dolgokat hallunk vissza másoktól. Természetesen ők jönni akarnak látogatni a gyermekemet, azonban egyikünk se engedi, mivel a viselkedésük elfogadhatatlan és szeretnénk óvni a babánkat. Nem fordultak bírósághoz, remélem ez így is marad, de ha mégis ezt tennék, mit tudunk mi csinálni? Másik unokájukat se láthatják, ott se fordultak bírósághoz, ezért gondolom most se fognak, de azért fel szeretnék készülni. Tudom, hogy törvényileg van láthatási jog, de gondolom vannak esetek, mikor a bíróság ezt megszünteti vagy korlátozza.