Modifizierte Backpropagation-Lernregel

Ein FMP-Netzwerk beinhaltet zahlreiche Parameter, deren Einstellungen auf Erfahrungswerten durch Probieren oder auf Intuition beruhen. Ein besonderes Gewicht liegt dabei auf der Anzahl der sogenannten verborgenen Neuronen und deren Strukturierung in Hidden Layer. Zuviele verborgene Neuronen hemmen die Fähigkeit des Netzes zur gewünschten Abstraktion und erhöhen unnötig die Dauer einer Netzoperation. Hingegen lassen sich mit einer zu geringen Anzahl von verborgenen Neuronen gewisse Fehlerschranken nicht unterschreiten.

Ein FMP-Netzwerk hat die in der Abbildung dargestellte Struktur.

 
Figure 1: Feedforward Multilayer Perzeptron

Jeder in der Eingabeschicht angelegte Vektor wird durch das FMP auf einen Ausgabevektor abgebildet. Die Größen der In- und Output-Schichten sind durch die Modellierung des Problems vorgegeben. Die Aufgabe des Anwenders ist es, die Anzahl der verborgenen Neuronen und deren Strukturierung in Hidden Layer festzulegen.

Die Backpropagation-Lernregel dient dazu, ein fehlerhaftes Abbildungsverhalten des Netzes durch eine Modifikation der Netzgewichte zu korrigieren. In einer sogenannten Forward-Phase wird der Fehler als Differenz zwischen Soll- und Istwert in der Output-Schicht bestimmt, in der Backward-Phase werden ausgehend von diesen Fehlern die Kantengewichte modifiziert. Die Korrektur der Kantengewichte beruht auf der Minimierung der Fehlerfunktion nach dem Gradientenabstiegsverfahren.

Der modifizierte Backpropagation-Algorithmus ist in der Lage, durch eine monotone und fehlerlokale Netzerweiterung die Qualität des trainierten Netzes zu verbessern, ohne seine Fähigkeit zur Abstraktion einzuschränken [5]. Das Training beginnt mit wenigen verborgenen Neuronen. Während der Lernphase werden schlecht trainierte Neuronen in regelmäßigen Abständen einzeln aufgespalten, bis deren Maximalanzahl erreicht ist. Durch dieses Verfahren wird nach kürzerer Zeit ein Fehlerminimum erzielt, welches der gewöhnliche Backpropagation-Algorithmus kaum erreicht. Die schematische Vorgehensweise und die Wahl der zusätzlichen Kantengewichte sind in Abbildung dargestellt.

 
Figure 2: Modifizierte Backpropagation-Lernregel mit Neuronenaufspaltung