On-Line-Training

Beim On-Line-Training wird das Neuronale Netz mit der gesamten Trainingsmenge trainiert. Die Parallelisierung verfolgt hier den Ansatz, die aufwendigen Matrix-Vektor-Operationen während der Forward- und Backward-Phase aufzuteilen. Dazu wird die Zuständigkeit für die Neuronen jeder Schicht unter den Prozessoren verteilt.

 
Figure 4: Matrix-Vektor-Operationen in der Forward-Phase

Jeder Prozessor bestimmt für die ihm zugeordneten Neuronen die neuen Aktivierungen anhand der Aktivierungen der vorherigen Schicht und der lokal verteilten Gewichtsvektoren. Das Ergebnis dieser Operation wird durch eine sigmoide Transferfunktion in eine zulässige Aktivierung überführt (s. Abb. 4). Bevor die Aktivierungen der folgenden Schichten bestimmt werden können, müssen die neu berechneten Aktivierungen der Neuronen einer Schicht global verteilt werden (s. Abb. 5).

 
Figure 5: Parallele Forward- und Backward-Phase

In der Backward-Phase werden ausgehend von dem Fehlervektor in der Output-Schicht die Fehler rückwärts propagiert. Zur Verringerung des Kommunikationsaufwands werden neben den rezeptiven auch die projektiven Gewichte eines Neurons auf dem jeweiligen Prozessor gespeichert [6]. Ausgehend von der Output-Schicht wird für jede Hidden-Schicht der jeweils dort auftretende Fehler bestimmt. Die Matrix-Vektor-Operationen finden wie in der Forward-Phase parallel statt (s. Abb. 5).

 
Figure 6: Aktualisierung der Gewichtsmatrizen

Die Gewichtsmatrizen werden parallel aktualisiert, gemäß der Zuordnung der Neuronen auf die Prozessoren. Diese sind in der Abbildung 6 mit und bzw. 1 bis 6 bezeichnet.

Ein Problem bei der Verfolgung dieser feinkörnigen Parallelisierungsidee ist die Behandlung des Neuronen-Splittings. Durch das Aufspalten der Neuronen und das daraus resultierende Wachsen der Hidden-Schichten ist es notwendig, dynamisch die neuen Neuronen mit den Zeilen bzw. Spalten der Gewichtsmatrix zu verteilen.