Miért nem tartják be a tudományokban az elemi tudományos követelményeket?

"Én nem tudom hogy miről hablatyolsz, de nem is olyan régen a rádióban egy sima közvélemény kutatás eredményénél is bemondták, hogy a hibahatár x %."

Na akkor elmondom, tök jó, hogy hoztál egy példát, ezen szépen be lehet mutatni. Van mondjuk egy telefonos közvéleménykutatás, vagy utcai közvéleménykutatás. Legyen a kérdés mondjuk az, hogy balkezes vagy-e? A valóság legyen az, hogy az emberek 5%-a balkezes Magyarországon. Ezt nem tudjuk pontosan, és pláne nem tudjuk a felmérés előtt, de most feltesszük, hogy a háttérben ez az igazság. Mármost az utcán 1000 embert kérdeztünk, és ebből 42 vallotta magát balkezesnek. Az átlag akkor 4.2% lenne? Nyilván nem, hanem 4.2% a mérésünk szerint legnagyobb valószínűséggel, de akörül van egy elsozlás, konkrétan haranggörbe, és ki lehet számolni a statisztikai módszereivel (ezzel senkit nem untatok), hogy mondjuk 95%-os valószínűséggel az átlag 4.2+-1%, tehát 3.2 és 5.2 között van valahol 95%-os valószínűséggel (ez csak példa, nem számoltam ki).

Mi kell ehhez? Két dolog, az egyik feltételezés az, hogy bármely Magyarországi ember ugyanakkora valószínűséggel került a mintánkba be (ez kábé azt jelenti, hogy reprezentatív a kutatás), a másik feltétel pedig az, hogy az emberek igazat mondtak! Az első az, amit többnyire megcsinálnak, ha értenek a statisztikához. A másodikkal nem szoktak foglalkozni. A második effektusból származó esetleges hiba is a mérőeszközünk, azaz a felmérési módszerünk hibája. Pl. sokkal nagyobb a hiba ahhoz képest, minthogy adunk a kezükbe egy tollat és megnézzük melyik kézzel fogják meg, és még ennek is nagyobb a hibája ahhoz képest, hogy nem mi adjuk a tollat, hanem napokig figyeljük őket titokban. Természetesen a balkezességről nincs olyan nagy értelme hazudni, és az emberek el sem szokták felejteni, hogy milyen kezesek, de egy politikai/társadalmi/pszichológiai kérdőív esetében már ezer effektus lehet, ami torzít, ami miatt lódít az alany, vagy nem emlékszik, vagy rosszul emlékszik, vagy jobb színben akarja feltüntetni magát, vagy bármi.

Mármost lehet-e erre kontrollálni? Igen. A nagyon primitív példánál maradva, ha az 1000 ember közül mondjuk 100-nál tényleg adunk a kezükbe egy tollat még a kérdés előtt, és megnézzük, hogy konzisztens-e a válaszuk a tollfogásukkal, akkor azzal validáljuk a módszerünket, vagy legalábbis meg tudjuk mérni, hogy hány százalékban hazudnak, és ezt az információt beépíthetjük a tudományos vizsgálatunkba és a végeredmény mondjuk az lesz, hogy megnő a hiba, vagy akár el is tolódhat a becslésünk, ha mondjuk azt találjuk, hogy a balkezesek el szokták titkolni, hogy balkezesek. Még pontosabb módszer, ha hazugságvizsgálóra kötjük az embert. Attól függően, hogy milyen tudományterületről van szó, és milyen eszközeink vannak, nyilván változó, hogy mennyire jól tudunk validálni. De erre tudományos módszerben szükség van, és mindig az adott problémában specifikusan. Tehát nem elég tudni mondjuk, hogy az emberek 2% hazudni szokott, ha megkérdezik az utcán, hanem meg kell nézni, hogy ebben a kérdésben mennyire jellemző a dolog, és milyen módon. Vagyis a mérési eszközünket be kell kalibrálnunk, mert a kérdőív az a konkrét szituációban egy mérőeszköz/módszer.