Lange war die Erforschung der künstlichen Intelligenz (KI) erfolglos, doch dann, nach der Jahrtausendwende, häuften sich die Hinweise, dass neuronale Netzwerke sich unter praxisnahen Bedingungen bei Aufgaben im Bereich der Mustererkennung bewähren könnten. Seit ein paar Jahren überschlagen sich in diesem Teilbereich der KI, beim Machine-Learning, die Erfolgsmeldungen. Seit kurzem gibt es Software, die bei der Transkription von gesprochenen Äusserungen, beim Lesen von handschriftlichen Notizen oder bei der Erkennung von Bildinhalten den Menschen überlegen ist. Bei neuronalen Netzwerken bilden Millionen von Neuronen und Abermillionen von Verknüpfungen eine überaus komplexe Apparatur, bei der im Verlauf eines langwierigen Trainingsprozesses Milliarden von Drehreglern und Stellschrauben so justiert werden, dass sich die gewünschte Zuordnung von Input und Output ergibt. Wie kann man beweisen, dass diese Apparatur zuverlässig funktioniert? Man kann es nicht. Bei der Bestimmung der Verlässlichkeit ist man auf Tests angewiesen. Kann eine Gehirnwäsche Terroristen hervorbringen? Urs Hafner Es ist deshalb nachvollziehbar, wenn ein altgedienter Computerwissenschafter wie Ronny Ronen, der sich bei der Entwicklung von Mikroprozessoren hervorgetan hat, angesichts von neuronalen Netzen ein ungutes Gefühl hat. Laut Ronen ist die vorherrschende Einschätzung die, dass diese Technik "im Grossen und Ganzen #schwarze Magie#" ist. "Wir wissen, dass es funktioniert, aber wir verstehen nicht, warum." Als Leiter des Intel Collaborative Research Institute for Computational Intelligence hat Ronen Forschungsarbeiten initiiert, die das Innenleben von neuronalen Netzwerken verständlich machen sollen. "Verständliche KI" lautet das neue Leitbild, "explainable AI" oder auch nur XAI. Hinter diesem Banner versammeln sich immer mehr Wissenschafter. Die Forschungsabteilung der amerikanischen Armee, die Defense Advanced Research Projects Agency (Darpa), hat zu Beginn des Jahres ein Programm angekündigt, das universitäre Forschungsteams während fünf Jahren bei der Entwicklung von XAI unterstützen will. Warum ist es überhaupt wichtig, in die Blackbox hineinzuschauen? Kann man nicht einfach zufrieden sein, dass diese künstlich intelligente Software meistens recht gut funktioniert und uns den Alltag erleichtert? Apps wie Alexa (Amazon), Assistant (Google), Cortana (Microsoft) oder Siri von Apple können gesprochene Befehle verstehen; Tag für Tag übersetzt Google Translate mehr als 200 Millionen Texte; Facebook ist seit Februar in der Lage, Gegenstände auf Fotos zu identifizieren. Diese Systeme sind nicht perfekt, aber gut genug für den Alltagsgebrauch. Warum sich sorgen, warum einen Blick in die Blackbox wagen? Das Gehirn lässt uns unsere Umwelt wahrnehmen und verstehen - und bestimmt unsere Entscheide und Gefühle. Für die Wissenschaft ist es die letzte grosse Blackbox des Menschen. Hier finden Sie alle Beiträge. Zunehmend wird KI in Bereichen eingesetzt, in denen Fehler unverzeihlich sind. KI entscheidet über Milliardeninvestitionen, über Militäroperationen; KI ersetzt den Fahrer oder den Arzt. Bei all diesen Aufgaben reicht es nicht, wenn die Software oft recht gute Ergebnisse erzielt. Wenn es darum geht, einen Gehirntumor, eine Retinopathie, eine Herzrhythmusstörung oder eine Krebserkrankung zu diagnostizieren, erwartet man von der Software nicht nur eine hohe Verlässlichkeit, sondern auch die Fähigkeit, eine Diagnose zu begründen. Es hat sich nun aber gezeigt, dass sich neuronale Netzwerke leicht übertölpeln lassen. Christian Szegedy von Google entdeckte 2014 einige - so der Titel seines vielzitierten Aufsatzes - "verblüffende Eigenschaften von neuronalen Netzwerken": Es kann vorkommen, dass Fotos nicht mehr erkannt werden, nachdem sie nur sehr geringfügig und für das menschliche Auge nicht wahrnehmbar verändert worden sind. Andere Forscher täuschten neuronale Netze mit Mustern: Der Computer entdeckt nun in abstrakten Bildern konkrete Dinge, sieht einen Pandabären oder eine E-Gitarre, wo das menschliche Auge nur Farben und Formen erblickt. Diese Arbeiten zeigen, dass die Computer bei der Bildanalyse anders vorgehen als Menschen und sie die Bilder nur sehr oberflächlich analysieren. Die künstlich intelligente Software ist wie ein Idiot savant manchmal zu Spitzenleistungen fähig, manchmal abgrundtief dumm. Bilder von handgeschriebenen Zahlen wurden geringfügig und für Menschen unbemerkbar so verändert, dass sie für die Maschinen einen anderen Wert darstellten. Nicht nur Bilder lassen sich manipulieren, sondern auch akustische Eingabesignale: Es ist gelungen, in ein Video gesprochene Befehle einzubetten, die das menschliche Ohr nicht wahrnehmen kann, die sich aber der automatischen Spracherkennung mitteilen konnten. Viele dieser Angriffe erzeugen bei unterschiedlichen neuronalen Netzwerken ähnliche Ergebnisse, viele lassen sich erfolgreich auch dann nutzen, wenn man die Innereien eines neuronalen Netzwerks nicht kennt. Es wurden Verfahren vorgestellt, um automatisch Bilder zu generieren, an denen sich die neuronalen Netzwerke verschlucken; es ist aber auch möglich, die Bildanalyse durch kleine Eingriffe in die Realität in die Irre zu führen: Durch eine Veränderung des Lernprozesses konnte eine Software, die Verkehrszeichen zuverlässig erkennen konnte, dahin gebracht werden, dass sie diese Schilder nicht mehr wahrnimmt, sobald sie mit einem gelben Klebezettel versehen worden sind. All diese neuen Forschungsarbeiten, die versuchen, über Hintertürchen und mit manipulierten Daten die Leistung von neuronalen Netzwerken zu schwächen, sind interessant, denn sie erlauben Rückschlüsse auf die innere Funktionsweise dieser Netzwerke. Zuerst aber zeigen sie vor allem dies: Wir wissen viel zu wenig über diese Software.