reakcie na článok
Model malého sveta v Echo state neurónových sieťach
ANOTÁCIA
Slovenská technická univerzita v Bratislave
FAKULTA INFORMATIKY A INFORMAČNÝCH TECHNOLÓGIÍ
Študijný odbor: SOFTVÉROVÉ INŽINIERSTVO
Autor: Bc. Tomáš Tatranský
Diplomová práca: Model malého sveta v Echo state neurónových sieťach
Vedenie diplomovej práce: prof. RNDr. Jiří Pospíchal DrSc.
Máj, 2007
Echo state neurónové siete sú rekurentné neurónové siete schopné kvalitne a rýchlo sa naučiť predložený časový rad. Ich učenie pozostáva z použitia pseudoinverznej matice na výpočet výstupných váh. Tieto siete majú ale niekedy problém so stabilitou predikcie. Táto práca sa zaoberá otázkou, do akej miery je výkonnosť, stabilita a kvalita predikcie ESN závislá na vnútornom poprepájaní neurónov v dynamickom rezervoári. V dynamickom rezervoári ESN boli použité siete malého sveta, siete s lokálnymi prepojeniami, mriežky a náhodné siete. Tieto boli porovnávané s výkonnosťou dynamického rezervoára s plne prepojenou sieťou. Experimenty s trénovaním funkcie sínus, Mackey-Glass systému a fluktuácie lasera ukazujú, že výkonnosť, stabilita a kvalita predikcie ESN závisí iba minimálne od poprepájania neurónov v dynamickom rezervoári. Ďalej bolo zistené, že je možné podstatne znížiť hustotu prepojení neurónov v dynamickom rezervoári bez vplyvu na schopnosť predikcie, čo môže mať prínos pri optimalizácií výpočtu pseudoinverznej matice.
ANNOTATION
Slovak University of Technology Bratislava
FACULTY OF INFORMATICS AND INFORMATION TECHNOLOGIES
Degree Course: SOFTWARE ENGINEERING
Author: Bc.Tomáš Tatranský
Thesis: Small world model in Echo state neural network
Supervisor: prof. RNDr. Jiří Pospíchal DrSc.
2007, May
Echo state neural networks are recurrent neural networks capable of accurate and fast learning of time series. The learning consists of using pseudo inverse matrix to calculate output weights. These networks may have sometimes problem with stability of prediction. This thesis is aimed at question, to what extend in performance, stability and quality of prediction is ESN training dependent on internal connections of neurons in dynamic reservoir. As dynamic reservoir, we used small world networks, networks with local connections, grids and random networks. Those were compared with performance of dynamic reservoir with fully connected network. Experiments with training on sinus, Mackey-Glass system and fluctuation of laser shows, that performance, stability and quality of prediction is minimally dependent on connection topology of neurons in dynamic reservoir. Next, we show that density of connections of neurons in dynamic reservoir can be cut down substantially without affecting quality of prediction, which can be used in optimization of calculation of pseudo inverse matrix.