1 Einleitung

Inhaltsverzeichnis für dieses Kapitel, für das gesamte Dokument;

Kaum ein anderer Wissenschaftszweig hat sich in den letzten Jahren einem so großen Wandel unterzogen wie der der künstlichen neuronalen Netze. In den fünfziger Jahren wurden sie von Neurobiologen entworfen, um das Zusammenspiel natürlicher Nervenzellen zu modellieren. Inzwischen haben jedoch die Forschungsaktivitäten den ursprünglichen Kreis verlassen. Heutzutage stellt die Beschäftigung mit künstlichen neuronalen Netzen ein Paradebeispiel interdisziplinärer Forschung dar. Während Psychologen, Informatiker und Mathematiker eher an den Grundlagen und der Funktionsweise interessiert sind, versuchen vor allem Ingenieure und Wirtschaftswissenschaftler sie für ihre Zwecke gewinnbringend anzuwenden.

Neben Klassifikation und Mustererkennung werden künstliche neuronale Netze auch zur Zeitreihenprognose eingesetzt. Ein großer Vorteil gegenüber herkömmlichen Methoden besteht darin, daß durch das Training ein künstliches neuronales Netz aus einer exemplarischen Problembeschreibung heraus wesentliche Zusammenhänge extrahiert.

Mitunter erweist sich die Trainingsphase als sehr zeitintensiv, weshalb vielfach Anstrengungen unternommen werden, die Dauer zu verkürzen. Neben qualitativen Verfahren, die es erlauben, das Training in weniger Lernschritten abzuwickeln, bietet sich der Natur künstlicher neuronaler Netze folgend eine parallele Abarbeitung des Lernverfahrens an.

Als ein sehr flexibel einsetzbarer Typ künstlicher neuronaler Netze hat sich das Mehrschicht-Perzeptron-Netz erwiesen. Backpropagation ist ein Lernverfahren, mit dem derartige Netze trainiert werden.

Im Rahmen der hier vorliegenden Arbeit entstand ein Programm zum Training eines Mehrschicht-Perzeptron-Netzes mit dem Backpropagation-Algorithmus. Um die Lerndauer zu verringern, wurde zum einen die Trainingsphase auf verschieden Arten parallelisiert und diese miteinander verglichen, zum andern eine qualitative Verbesserung des Lernverfahrens integriert.

Eine thematische Übersicht dieser Arbeit zeigt Abbildung 1.1. Die wichtigsten Konzepte und Vokabeln aus dem Bereich der künstlichen neuronaler Netze werden im folgenden Kapitel dargestellt. Bausteine eines künstlichen neuronalen Netzes sind die Neuronen, ihre Funktionalität und Anordnung bestimmt dessen Arbeitsweise.

Kapitel 3 befaßt sich mit dem Mehrschicht-Perzeptron-Netz. Ausführlich wird auf das Training mit dem Backpropagation-Algorithmus eingegangen. Eine qualitative Verbesserung des Backpropagation-Verfahrens, der MouseProp-Algorithmus, wird vorgestellt. Den Abschluß des Kapitels bilden die Grundzüge der Zeitreihenprognose mit Mehrschicht-Perzeptron-Netzen.

Mittelpunkt der Arbeit stellt Kapitel 4 dar. Nachdem Strategien zur Aufteilung der Trainingsaufgabe und deren parallele Abarbeitung vorgestellt und diskutiert werden, geht es um die Implementierung verschiedener Varianten des parallelen Backpropagation-Algorithmus. Hierfür stehen zwei Standardumgebungen der Parallelverarbeitung zur Verfügung. Das parallele Batch-Training wurde unter PVM und unter PARIX, das parallele Online-Training unter PARIX realisiert. Experimentelle Speedup-Messungen zeigen deutliche Unterschiede der verschiedenen Ansätze.

Kapitel 5 faßt noch einmal die wichtigsten Ergebnisse zusammen und deutet mögliche Ergänzungen in einem Ausblick an. Detaillierte Hinweise zur Installation und zur Bedienung des hier entwickelten Programms bp zum Training von Mehrschicht-Perzeptron-Netzen befinden sich in Anhang A.

Abbildung 1.1: Thematische Übersicht