Die Lehrer der Maschinen

In der Informationstechnologie gibt es gegenwärtig eine Revolution. Große Sprachmodelle wie ChatGPT, aber auch Übersetzungssoftware und andere Alltagsanwendungen, sind mittlerweile so gut geworden, dass sie für viele praktische Zwecke einsetzbar sind. Auch in der medizinischen Diagnostik, in den Materialwissenschaften, in der Soziologie, der Literaturwissenschaft, der Energiewirtschaft und in vielen Bereichen, in denen große Datenmengen durchforstet und aufbereitet werden müssen, kommen immer neue Verfahren der künstlichen Intelligenz zum Einsatz. Diese Softwarepakete liefern aber nur dann sinnvolle Ergebnisse, wenn sie vorher auf vernünftige Weise mit guten Trainingsdaten auf ihren Einsatz vorbereitet werden.

Für die Grundlagenarbeit an diesen Verfahren erhalten John Hopfield und Geoffrey Hinton den diesjährigen Physik-Nobelpreis. Die beiden Wissenschaftler arbeiteten schon seit den 1980er Jahren auf diesem damals noch jungen Gebiet. Zwar hatte es schon seit den 1940er Jahren – also mit dem Aufkommen der ersten »Elektronengehirne« – Ansätze zum maschinellen Lernen gegeben. Aber erst mit der zunehmenden Rechenleistung und Speicherkapazität der Computer ergaben sich die Möglichkeiten, größere Datenmengen zum maschinellen Lernen einzusetzen.

Inspiriert ist die künstliche Intelligenz von der neuronalen Verschaltung biologischer Gehirnzellen. Die klassische Computertechnik ist durch eine strikte Abarbeitung von Befehlen gekennzeichnet, die durch den Programmcode vorgegeben werden. Biologische Systeme hingegen lernen durch den Informationsaustausch mit ihrer Umwelt. Dabei arbeiten die Neuronen im Gehirn und Zentralnervensystem parallel und in verschiedenen Schichten. Das Lernen geschieht dabei, indem bestimmte Verbindungen zwischen den Neuronen verschiedener Schichten einen stärkeren Einfluss gewinnen, während andere abgeschwächt werden.

Informative Hügellandschaft

Das maschinelle Lernen nimmt sich diese Art von Informationsverarbeitung zum Vorbild: Zunächst wird eine Verschaltungsstruktur vorgegeben, und dann »lernt« diese Struktur anhand von Beispieldaten. Dabei werden die Eingangsdaten in das Netz eingespeist und die anfangs noch schlechte Antwort des Systems sukzessive optimiert, indem Lernalgorithmen die Verbindungen zwischen den verschiedenen künstlichen Neuronen möglichst geschickt anpassen.

Hierzu erarbeiteten die beiden Laureaten neue Ideen, die das Gebiet bis heute befruchten. Der US-Amerikaner John Hopfield von der Universität Princeton hatte bereits vorher zu magnetischen Systemen und molekularbiologischen Fragen geforscht und sich einen Ruf als herausragender Theoretiker erworben, als er dann bei einer Sitzung über Neurowissenschaften auf die Hirnforschung stieß. Im Jahr 1982 schlug er eine Methode vor, wie künstliche neuronale Netzwerke eine Art assoziatives Gedächtnis entwickeln können. Dabei wählte er ein Lernprinzip, das von einer sogenannten Potenziallandschaft inspiriert ist, wie sie vielerorts in der Physik auftritt. Man kann sie einfach an einer Gebirgslandschaft illustrieren, in der eine Kugel stets den direkten Weg nach unten sucht – also zu einem möglichst energiearmen Zustand.

Auf das maschinelle Lernen übersetzt, heißt das: Wenn ein Pixel eines Trainingsbildes zu einem bereits gespeicherten Bild passt, dann wird die Energie des entsprechenden Knotens und Netzwerkpfades abgesenkt – die Landschaft »erodiert« sozusagen in die gewünschte Richtung. Passt das Trainingsbild nicht, dann geht die Suche weiter. Auf diese Weise bildet sich nach erfolgreichem Training sozusagen eine Landschaft – beziehungsweise eine »hügelige Energielandschaft« – aus, die künftigen Kugeln den richtigen Weg zum Ziel weist. Diese Datenstruktur wird ihm zu Ehren »Hopfield-Netzwerk« genannt.

Damit lassen sich etwa Bilder speichern, ohne dass man jedes einzelne Bild speichern muss: Wenn man mehrere ähnliche Bilder hat, dann reicht die trainierte Energielandschaft aus, um die Bilder nicht nur abzuspeichern, sondern sie kann sogar zwischen den Bildern unterscheiden.

Der Brite Geoffrey Hinton von der Universität Toronto arbeitete in den folgenden Jahren dann mit solchen Hopfield-Netzwerken und entwickelte sie weiter. Insbesondere schuf er eine sogenannte »Boltzmann-Maschine«, die sich von Hopfields ursprünglichem Ansatz unterschied. Das Ziel seiner Netzwerke war es, Daten nicht nur zu speichern und bereits bekannten Daten zuzuordnen. Er wollte sehen, ob sich mit solchen Netzwerken auch Informationen strukturieren lassen, sodass man damit Mustererkennung betreiben kann.

Hierzu nutzte Hinton Methoden der statistischen Physik und insbesondere eine Gleichung von Ludwig Boltzmann, der im 19. Jahrhundert die Grundlagen der Thermodynamik mitgeschaffen hatte. Nach dieser Gleichung sind je nach Energieniveau manche Zustände wahrscheinlicher als andere. Nach diesem Prinzip schuf Hinton ein Netzwerksystem aus mehreren Schichten und zwei verschiedenen Typen von Knoten – einerseits »sichtbare« und andererseits »unsichtbare« Knoten. Die sichtbaren Knoten bringen Information von außen in das Netzwerk und tragen die verarbeitete Information wieder nach außen. Die unsichtbaren Knoten sorgen innerhalb des Systems für die passende Informationsverarbeitung.

Mit dieser Struktur hatte Hinton bereits ein sogenanntes »generatives Modell« geschaffen, wie es auch heutige KI-Systeme einsetzen, um Muster zu erkennen und neue Daten anhand bekannter Muster zu erzeugen. Eine Boltzmann-Maschine kann etwa bestimmte Dinge auf Bildern erkennen, auch wenn sie dieses bestimmte Bild noch nie »gesehen« hat. Damit ist die Boltzmann-Maschine ein entscheidender Vorläufer der gegenwärtigen KI-Systeme.

Die ursprüngliche Boltzmann-Maschine war allerdings wenig praktikabel, um damit komplexere Aufgaben zu erledigen. Während viele Forscher das Interesse an dem gesamten Gebiet verloren hatten, verfolgte Hinton es weiter und stellte 2006 gemeinsam mit Kollegen eine Reihe spannender neuer Ideen vor. Dazu zählten vortrainierte Netzwerke mit einer ganzen Reihe von Boltzmann-Maschinen, die in verschiedenen Ebenen übereinander angeordnet waren. Das erhöhte die Trainingseffizienz und Leistungsfähigkeit des gesamten Systems enorm. Die heutigen, komplexen KI-Systeme sind meist sogenannte »tiefe neuronale Netzwerke«, die aus vielen Schichten von künstlichen Neuronen bestehen.

Von der Physik zur Informatik

Im Anschluss an die Nobelpreisverkündung zeigte sich Hinton im Telefonat erstaunt, ja geradezu »geplättet« von der Ehrung. In der Tat sind maschinelles Lernen und künstliche Intelligenz Gebiete, die nicht zu den klassischen Kerndisziplinen der Physik gehören, sondern mittlerweile eher der Informatik zugerechnet werden. Ihr Ursprung liegt aber durchaus in der Physik, beziehungsweise in den Physikinstituten, die die Entwicklung der Computertechnik und Software vorangetrieben haben. Heute arbeiten Physiker, Informatiker und Mathematiker oft gemeinsam an der Weiterentwicklung dieser Technologien.

Über viele Jahre waren es besonders die datenhungrigen Großforschungseinrichtungen in der Physik, in denen maschinelles Lernen zum Einsatz kam – von der Teilchen- bis zur Astrophysik. Dank der dabei entwickelten Methoden ist dieses Gebiet im letzten Jahrzehnt rapide gewachsen – und zwar mit einer derartigen Dynamik, dass man sich schon Sorgen um die Energieversorgung der Rechenzentren machen muss. Das Training von Systemen künstlicher Intelligenz verlangt riesige Datenmengen, die in großen Rechenzentren mit entsprechendem Stromhunger verarbeitet werden müssen, der künftig hoffentlich aus grünen Quellen gespeist wird.

Auf jeden Fall zeigt der diesjährige Physik-Nobelpreis auf, wie jahrzehntelange Grundlagenforschung massiven Einfluss auf die moderne Gesellschaft gewinnen kann. Die neuen Laureaten stehen dabei in einer gewissen Reihe mit anderen Forschern, die das heutige Informationszeitalter möglich gemacht haben und die ebenfalls mit dem renommierten Preis ausgezeichnet wurden, etwa 1956 für den Transistor, im Jahr 2000 für die Entwicklung des integrierten Schaltkreises, 2007 für die Entwicklung des Riesenmagnetowiderstands, der moderne magnetische Festplatten möglich machte und 2009 für Arbeiten zur Glasfaseroptik, die heutige Datennetze ermöglichten.

Ohne all diese bahnbrechende Forschungsarbeit wäre die heutige Welt kaum noch vorstellbar – und das wird man in wenigen Jahren auch über die Erkenntnisse der neuen Laureaten sagen.

Werde Mitglied der nd.Genossenschaft!

Seit dem 1. Januar 2022 wird das »nd« als unabhängige linke Zeitung herausgeben, welche der Belegschaft und den Leser*innen gehört. Sei dabei und unterstütze als Genossenschaftsmitglied Medienvielfalt und sichtbare linke Positionen. Jetzt die Beitrittserklärung ausfüllen.
Mehr Infos auf www.dasnd.de/genossenschaft