Inhaltsverzeichnis für dieses Kapitel, für das gesamte Dokument;
Ziel dieser Arbeit war die Erstellung eines Programms zur zeitlichen Beschleunigung des Trainings von Mehrschicht-Perzeptron-Netzen. Hierzu wurden mögliche Parallelisierungsansätze des Backpropagation-Algorithmus diskutiert, implementiert und verglichen.
Das im Rahmen dieser Arbeit entstandene Programm bp bietet umfangreiche Möglichkeiten zum Training von Mehrschicht-Perzeptron-Netzen. Neben einem Momentumterm unterstützt bp das Online- und das Batch-Training. Eine qualitative Verbesserung der Trainingsergebnisse wird durch das Aufspalten verborgener Neuronen mit dem MouseProp-Algorithmus erzielt. Eine wesentliche Verkürzung der Trainingszeit bietet die Parallelisierung des Backpropagation-Algorithmus. Das parallele Batch-Training unter PVM auf einem Workstation-Verbund erzielt gute Ergebnisse. Ausgezeichnete Resultate sind unter PARIX auf Transputersystemen erreicht worden. Die Parallelisierung des Online-Trainings zeigt auf moderat parallelen Systemen eine ansprechende Beschleunigung.
Sowohl PVM als auch PARIX haben sich als komfortable Programmierumgebungen zur Erstellung der parallelen Version von bp erwiesen. Für den GCel und den GC/PP standen sowohl eine PVM- als auch eine PARIX-Implementation zu Verfügung. Es stellte sich heraus, daß die Portabilität von PVM sehr zu Lasten der Effektivität geht und deshalb PVM auf Parallelrechnern für diese Anwendung ungeeignet ist. Eine Alternative zu PVM hinsichtlich portabler Programmierung paralleler Systeme stellt der MPI-Standard dar. Dieser unterstützt Operationen für globale Kommunikationen, wie sie auch von bp benötigt werden. Kommerzielle MPI-Implementationen können die Gegebenheiten eines Parallelrechners berücksichtigen und globale Operationen optimal auf die zugrundeliegende Architektur abbilden. Aus diesem Grund erscheint eine Portierung des parallelen Programms bp nach MPI als sehr sinnvoll.
Die Erweiterung von bp um zusätzliche Lernalgorithmen für MP-Netze wie zum Beispiel QPROP oder RPROP bietet sich an. Sie ermöglichen ein Training in noch weniger Epochen. Ihre Parallelisierung erfordert allerdings einen höheren Aufwand.
Einen vom Standpunkt der Parallelverarbeitung her interessanten Ansatz stellt das Training eines MP-Netzes mit Unterstützung genetischer Algorithmen dar. Sowohl die Bestimmung optimaler Lernparameter und Netztopologie als auch die Optimierung der Gewichte selbst kann mit Hilfe genetischer Algorithmen erfolgen und verspricht einen hohen Grad an Parallelität.
Abschließend kann festgehalten werden, daß das Programm bp eine deutliche Verringerung der langen Trainingszeiten von Mehrschicht-Perzeptron-Netzen ermöglicht, indem unter Ausnutzung der natürlichen Parallelität künstlicher neuronaler Netze effiziente Strategien eines parallelen Backpropagation-Algorithmus entwickelt wurden.