Nem tudom mikor akar valaki kiszállni a beszélgetésből?

Magányos ember vagyok, 35 éves, nincsen senkim. Se barátok, se senki. Amikor valakivel beszélgetni tudok, pl szomszédokkal, sportoláskor, havi 2x a munkahelyen (annyiszor járunk be), akkor szóval tartok mindenkit. Nem akarok rosszat pedig, nem magamról beszélek, őket kérdezem, csak olyan jól esik kommunikálni. Sokszor utólag esik le hogy 3x is mondták közben, hogy “jó akkor majd beszélünk még, jó akkor lassan nekem mennem kéne be rakodni” ilyesmi. De nekem tényleg nem esik le! Utólag marhán szégyellem magamat! Lassan el fog kerülni mindenki emiatt. Hogyan tudnék változtatni? Azt hittem úgymond gyakarolnom kell, de pont hogy amiatt kerülök gondba.