Elmagyarázná valaki a Hebb-szabály és a delta-szabály lényegét?

Delta-szabály:

A tanulási algoritmus módosítja a súlyértéket az optimális érték felé, minimalizálva a különbséget a keletkező kimenet (output) és a kívánt eredmény között. Azonban két kérdés még megválaszolatlan marad: mely súlyértékek változtathatóak, és mennyire? Ezek a tanulási algoritmus célkitűzései.

A delta szabály megváltoztatja a súlyokat a különbség hibájának figyelembevételével, azaz a kimenet (output) és a cél közti különbséget. A delta (capital ∆ and small δ) egy görög betű, amely a matematikában a változást hivatott jelezni. A delta szabály népszerű változatai tartalmazzák a Widrow-Hoff szabályt (Widrow és Hoff 1960), a grádiens süllyedési szabályt, a perceptron szabályt stb.

Tekintsük meg a neuron leírását a 3.2.2. fejezetben. Bevezetünk egy másik változót, Rj-t, a kívánt eredményt neuron j-hez. A delta szabály megváltoztatja a Wi és j súlyvektorokat (input i, neuron j) annak érdekében, hogy minimalizálja a hibát, azaz a különbséget a kívánt eredményt (cél) valamint az előállított kimenet (output, Rj-Oj) között. Egyszerűbb és logikusabb volna, ha a súlyokat hozzáadnánk vagy kivonnánk a kisszámú α-ból mindegyik súlyból attól függően, hogy Rj-Oj pozitív vagy negatív. Azonban ez az egyszerű szabály nem foglalkozik a hibanagysággal. Azon céllal, hogy beépítsük a hibanagyságot, megszorozzuk az entitást (Rj-Oj) α-val. Ez egy arányos korrekciós tényezőt fog adni. Ezzel megválaszoljuk a „mennyi” kérdést, de az a kérdés, hogy melyik súlyon kell változtatni, még mindig megválaszolatlan marad.

Amennyiben megváltoztatjuk az összes súlyértéket az arányos korrekciós tényező segítségével, nemkívánatos hibák léphetnek fel, ami miatt eltérések jelentkezhetnek a súlyértékek optimalizálásában, konvergencia helyett. Ennek elkerülése érdekében csak azokat a súlyértékeket fogjuk megváltoztatni, amelyeknek jelentős szerepe volt az adott kimenet (output) előállításában. Ezt végre lehet hajtani a T szigmoid függvény által meghatározott állapottal.

Ennél fogva a delta szabály így áll:

∆Wi j = α.(Rj – Oj).Ti j .

Ezt követi a frissítési szabály („update rule”),

∆Wi jnew = Wi j + ∆ Wi j .

A frissítés iteratív, azaz ismétlő módon történik, amíg a súlyok elérik a kívánt optimális értékeket. Az α-t tanulási rátának nevezzük, amely meghatározza, hogy a tanulás mennyi időt vesz igénybe.

##########################################################

Hebb-szabály:

Hebb szabálya (Hebb 1949) az egyik legfontosabb koncepcióvá vált a számítógépes idegtudományban. Eredetileg ez a biológiai neurális hálózati architektúrát fogalmazta meg. Továbbá ez volt az első tanulási szabály, amely megmagyarázta, hogy neuron sejtek tömege hogyan formálható egy koncepcióvá. Idegtudósok úgy gondolják, hogy a Hebbi tanulásnak helye van az idegrendszerben.

Bár biológiai területből ered, a Hebb szabály, akárcsak maga a neurális hálózat koncepciója is, sikeresen elfogadott az ANN és egyéb tudományos területek által. A Hebb szabály neurobiológiai területeken valamiféle megőrzés vagy memória alapját képező szabály. Gyakran asszociatív, autoasszociatív vagy heteroasszociatív memóriának is nevezik.

A Hebb szabályt gyakran használják felügyelet nélküli tanulás esetben is, azaz, amikor a tanulás magából az adatmintázatból történik. Ez segít a neurális hálózatnak vagy neuron egységeknek arra, hogy egyfajta memóriaként emlékezzenek specifikus mintázatokra. Ezzel a fajta tudással hasonló hiányos vagy térbeli mintázatokat lehet felismerni. A mechanizmus annál is gyorsabb, mint a delta szabály vagy a backpropagation algoritmus, mert nincs bemutatás és input-output pár képzés. Az egyik legfontosabb ilyen algoritmus a Hopfield algoritmus (Hopfield 1982), amelyről később fog szó esni.

A Hebb szabály könnyen kifejezhető számtanilag a külső termék két vektorának használatával. A külső termék alkalmaz egy oszlopvektort (C), amely szorzódik a sorvektorral (R), és így megkapjuk a méretmátrixot, amely tehát C x R. Megszorozzuk az egész oszlopvektort a sorvektor minden egyes elemével, hogy megkapjuk a külső terméket, W = Soszlop x Ssor. A külső termék által alkotott asszociatív mátrix rendelkezik a tartalom szerint címezhető memória tulajdonságával, amely arra használható, hogy képes felismerni a memória részleges, vagy tökéletlen bemeneti mintázatait. Alább mutatunk egy példát a külső termékre.

A külső produktum, az asszociatív mátrix (W) a későbbiekben mintázat felismerésre használható. A W egyenértékű a tanulási mechanizmussal a delta szabály esetében vagy a backpropagation algoritmusban.