Arbeitsgruppe: Lernen mit Neuronalen Methoden auf Strukturierten Daten

M. Biehl, Die statistische Physik des Lernens: Spezialisierung und Symmetriebrechung in neuronalen Netzwerken

Die Grundzüge der statistischen Physik des Lernens werden am Beispiel mehrschichtiger neuronaler Netzwerke skizziert. Diese Systeme lernen eine Regel durch Parameteranpassung an gegebene Beispieldaten.

Zunächst wird die Interpretation des sogenannten Off-line Learnings als formales thermisches Gleichgewicht in einem Ensemble von Netzwerken diskutiert. Mit diesem Zugang lassen sich typische Eigenschaften großer Netzwerke nach dem Training berechnen. In der vereinfachten Modellsituation des On-line Learnings kann man darüber hinaus auch die Dynamik des Prozesses beschreiben.

Als wichtiges Beispiel-Resultat wird diskutiert, wie sich die unvermeidbaren Symmetrien des Lernproblems auf das Training auswirken. Die notwendige Spezialisierung der verschiedenen Einheiten des Netzwerkes ist bei einer kleinen Anzahl von bekannten Beispieldaten noch nicht möglich. Im On-line-Szenario erfolgt die Symmetriebrechung mit wachsender Beispielzahl kontinuierlich. Demgegenüber treten im Off-line-Training sprunghafte Änderungen des Lernerfolges auf, die Phasenübergängen in Vielteilchensystemen entsprechen.

B.Hammer