Az igaz, hogha van egy tetszőleges valószínűség-eloszlásod, akkkor ha létezik átlag, akkor arra a legjobb maximum likelihood becslés a számtani átlag? Próbáltam megtalálni a bizonyítást valahol, de sehol nem találom a neten.

A sima átlag a várható érték egy torzításmentes (unbiased) becslése, ami annyit jelent, hogy a hibájának várható értéke 0. Ezt bizonyos szempontból lehet legjobbnak nevezni, de általánosságban semmi nem garantálja, hogy a magasabb rendű, pl. négyzetes hibája is minimális lenne. A torzításmentesség amúgy önmagában nem sokat jelent, ki lehetne találni egészen hülye és használhatatlan torzításmentes becsléseket is, pl. az első szembejövő elem értéke.

A maximum likelihood más tészta, ott paramétert becsülsz egy adott modellen belül, mégpedig úgy, hogy megkeresed azokat a paraméterértékeket, amelyek esetében a modell a legnagyobb valószínűséggel produkálja azokat az értékeket, amiket megfigyeltél. Teljesen ismeretlen eloszlásra így nem is értelmezhető a fogalom, az átlaggal ellentétben. Kell hozzá egy előre kijelölt paramétertér.

Bizonyos eloszlások esetében a várható érték közvetlen paramétere az eloszlásnak, pl. Gauss vagy az exponenciális eloszlás esetén. Itt a mű, vagy a lambda (pontosabban 1/lambda) ML becslése egyben az átlag becslése is. Történetesen az ML becslés éppen a számtani átlag ezekben a példákban, tehát rájuk érvényes, amit írtál.

De hogy a lognormális példát folytassam, ott a várható érték nem közvetlen paraméter, hanem két másik paraméterből származtatható. Itt a várható érték ML becslése annyit jelent, hogy ML módon becsülöm a két paramétert, majd kiszámolom belőlük a várható értéket. Ez nem a számtani átlag lesz. Még az is lehet, hogy az így kapott becslés nem torzításmentes. Dehát ez van, a ML becslés ilyen, bizonyos modellekre torzításmentes becslést ad, másokra meg nem.

Te azt kérdezted, hogy az átlag maximum likelihood becslése mindig a számtani átlag-e. Erre a válasz egyértelműen nem, hiszen van ellenpélda. Ezt ki is próbálhatod, leprogramozhatod, vagy megcsinálhatod Excelben: mű-kalap és szigma2-kalap ML becslésének képlete itt van az alábbi linken:

[link]

Nézd meg, hogy mennyi e^(mű-kalap + (szigma2-kalap)/2), ami a várható érték ML becslése, és mennyi a számtani átlag. Látni fogod, hogy a kettő különbözik egymástól.

Kíváncsiságból megcsináltam én magam: Lognormal(7,2) volt az eloszlás, aminek a várható értéke e^(7+4/2) = 8103.

200 elem alapján becsültem a várható értéket, egyszer számtani átlaggal, másszor az előző poszt végén leírt ML-lel. Ezt megismételtem 1000-szer. Az eredmény:

Sima átlagos becslések átlaga: 8248, ML: 8349. Tehát a sima átlag első ránézésre kicsit jobb.

Hiba szórása sima átlaggal: 4673, ML-lel: 2163. Az ML odaveri a sima átlagot, rendre kisebbeket téved mindkét irányban.

Abszolút hiba átlaga sima átlaggal: 2438, ML-lel: 1621. Szintén odaveri.

Ezzel az egésszel csak azt akarom mondani, hogy a "legjobb" becslés nagyban azon múlik, hogy mit tartasz jó becslésnek. Látjuk, hogy a számtani átlagos becslés kevésbé húz félre a céltábla közepétől mint az ML, de cserébe több mint kétszer annyira szór.

És a teljesség kedvéért itt a grafikon: [link]

Még csak az se igaz, hogy a számtani átlag kevésbé húz félre. Szisztematikusan alulbecsli a várható értéket, a mediánja -700, csak ezt még durvább túlbecslésekkel "kompenzálja". Azaz torzításmentes, csak éppen szar.

A maximum likelihood szemmel láthatólag sokkal jobban teljesít. Ami nem csoda, hiszen ő nem a vakvilágba, hanem egy adott modellt feltételezve becsül.

Remélem ebből a példából világosan kiderül számodra, hogy 1) a ML becslés nem azonos a számtani átlaggal, 2) a számtani átlag nem mindig a legjobb.