Maximalizácia pamäťovej kapacity umelých neurónových sietí s echo stavmi
Metóda spočíva v ortogonalizácii rezervoáru neurónovej siete, ktorá priblíži sieť k režimu na hranici stability a umožní jej dostať sa k teoreticky odvodeným hraniciam pamäťovej kapacity, ako vysvetľuje prof. Igor Farkaš z Katedry aplikovanej informatiky FMFI UK v Bratislave.
V oblasti strojového učenia a umelých neurónových sietí je dlhodobou snahou dizajnovať efektívne algoritmy učenia, vďaka ktorým dokáže umelá neurónová sieť riešiť rôzne úlohy. V kontexte rekurentných neurónových sietí, t.j. sietí so spätnou väzbou, vznikla zhruba pred 15-imi rokmi paradigma tzv. rezervoárového počítania, ktorá umožňuje efektívny dizajn takýchto sietí. Príkladom sú siete s echo stavmi (ESN), ktorých výhodou je rýchle nastavenie rezervoáru, teda matice váhovaných rekurentných prepojení (analógia synapsií medzi biologickými neurónmi). Nastavenie sily prepojení-váh (vyjadrené napríklad pomocou spektrálneho polomeru) zabezpečí vhodné dynamické vlastnosti ESN, čo sa pozitívne prejaví v riešenej úlohe (napríklad zvýšením predikčnej schopnosti siete). Tu je zaujímavé, že ESN ako dynamický systém môže vykazovať dva rozličné módy správania – stabilnú dynamiku (pri menších spektrálnych polomeroch) a nestabilnú dynamiku (pri väčších spektrálnych polomeroch). Zaujímavý je práve postupný prechod medzi módmi, hranica stability, kedy tieto dynamické modely vykazujú optimálne správanie, napríklad z pohľadu kapacity pamäti. Tento režim je zaujímavý aj z pohľadu fyzikálnych či biologických systémov. Existuje teória, podľa ktorej aj mozog sa dynamicky samoorganizuje v režime blízkom hranici stability, vďaka čomu dokáže efektívne pracovať.
„Ukázali sme, že kapacitu pamäte ESN možno výrazne zvýšiť pomocou ortogonalizácie rezervoáru (dvoma podobnými odvodenými gradientovými metódami), a to tak, že pamäťová kapacita sa priblíži k teoreticky odvodeným hraniciam pri rôznych veľkostiach rezervoáru. Konkrétne, počet rekonštruovaných (a teda zapamätaných) náhodných vstupov na výstupe siete sa rovná počtu neurónov v rezervoári, čo je bežne nedosiahnuteľné. Touto témou sme sa začali zaoberať pred pár rokmi v rámci bakalárskej práce (P. Barančok), a potom diplomovej práce (R. Bosák), ktoré viedli k zaujímavým výsledkom. Tie sa nám systematickou výpočtovou analýzou spolu s doktorandom (P. Gergeľ) podarilo pretaviť do publikovateľnej formy v prestížnom časopise Neural Networks,“ hovorí prof. Igor Farkaš, ktorý vedie pracovnú skupinu Cognition and Neural Computation na KAI, zaoberajúcu sa modelmi umelých neurónových sietí, ako aj ich využitím pri modelovaní v kognitívnej vede. „Výsledky plánujeme v ďalšom výskume overiť na iných vstupných dátach, ako aj zistiť ako ortogonalizácia rezervoáru podporuje optimálne správanie ESN z pohľadu iných kvantitatívnych mier, ako je napríklad prenos informácie,“ dodáva prof. Farkaš.
Farkaš I., Bosák R., Gergeľ P.: Computational analysis of memory capacity in echo state networks, Neural Networks, 83, 109-120, 2016