Von wegen intelligent 50 Prozent der KI-Systeme sollen schummeln

Viele vermeintlich intelligente Systeme nutzen wenig intelligente Lösungsstrategien. Wie aus einer Analyse der TU Berlin, dem Fraunhofer HHI und der Singapore University of Technology and Design hervorgeht, könnten aktuell etwa 50 Prozent der modernen KI-Modelle bei ihren Entscheidungen schummeln.

Anbieter zum Thema

PresseBox - unn | UNITED NEWS NETWORK GmbH

Vogel IT-Medien GmbH

Fujitsu Technology Solutions GmbH

TU Berlin

Fraunhofer-Institut f. Nachrichten technik, Heinrich-Hertz-Institut

Handelt es sich bei Entscheidungen, die von einer Künstlichen Intelligenz getroffen werden, wirklich um intelligente Entscheidungen oder um statistisch erfolgreiche Verfahren? Dieser Frage sind Forscher der Technischen Universität Berlin (TU Berlin), des Fraunhofer Heinrich-Hertz-Instituts (HHI) und der Singapore University of Technology and Design nachgegangen und haben in einer bei Nature Communications veröffentlichten Arbeit das ganze „Intelligenz“-Spektrum bestehender KI-Systeme analysiert und quantifiziert.

Dr. Klaus-Robert Müller, Professor für Maschinelles Lernen an der TU Berlin, und Dr. Wojciech Samek, Gruppenleiter am Fraunhofer HHI, haben mit ihren Teams einige Schwachstellen in modernen KI-Systemen entdeckt: Die tiefen neuronalen Netzwerke der KI stützen ihre Klassifikationsentscheidung zum Teil auf Artefakte, die während der Präparation von Bildern entstanden und mit dem eigentlichen Bildinhalt gar nichts zu tun haben.

Kluger Hans statt echter KI

So klassifizierte ein KI-System, das vor einigen Jahren mehrere internationale Wettbewerbe zur Klassifikation von Bildern gewonnen hat, Bilder vorwiegend anhand des Kontextes. Dabei wurden Bilder der Kategorie „Schiff“ zugeordnet, wenn viel Wasser im Bild zu sehen war. Die eigentliche Aufgabe, nämlich Schiffe zu erkennen, hat dieses KI-System nicht gelöst – auch wenn es die Mehrzahl der Bilder im Endeffekt korrekt klassifiziert hat.

„Wir waren sehr erstaunt über die große Bandbreite der gelernten Problemlösungsstrategien. Selbst moderne KI-Systeme haben nicht immer einen aus menschlicher Perspektive sinnvollen Lösungsweg gefunden, sondern nutzten bisweilen sogenannte ,Clever-Hans-Strategien'“, so Samek.

50 Prozent der Systeme könnten betroffen sein

,Clever Hans' war ein Pferd, das angeblich rechnen und zählen konnte und in den Jahren um 1900 als wissenschaftliche Sensation galt. Wie sich später herausstellte, beherrschte Hans nicht die Mathematik, sondern konnte in etwa 90 Prozent der Fälle die richtige Antwort aus der Reaktion des Fragestellers ableiten. Laut Müller „ist [es] durchaus denkbar, dass ungefähr die Hälfte der aktuell eingesetzten KI-Systeme implizit oder explizit solche ,Clever Hans'-Strategien nutzen“.

Die Basis für die Untersuchung der Forscher bildet eine von der TU Berlin und dem HHI entwickelte Technik, die sogenannte „Layer-wise Relevance Propagation“ (LRP), die zeigen soll, aufgrund welcher Kriterien KI-Systeme Entscheidungen treffen. Die Weiterentwicklung der LRP-Technologie, die „Spectral Relevance Analysis“ (SpRAy), identifiziert und quantifiziert ein breites Spektrum erlernter Entscheidungsverhalten. So soll es möglich sein, auch in sehr großen Datensätzen unerwünschte Entscheidungen zu erkennen.

„Explainable AI“ muss gefördert werden

„Diese sogenannte explainable AI (erklärbare Künstliche Intelligenz) ist einer der wichtigsten Schritte für die praktische Anwendung und Verbreitung von KI“, so Müller. Insbesondere in der medizinischen Diagnostik oder in sicherheitskritischen Systemen sei es fatal, KI-Algorithmen mit unsicheren Problemlösungsstrategien oder sonstige KI-Schummel-Kandidaten einzuführen.

Laut des Professors ist die automatisierte Technik Open Source und steht allen Wissenschaftlern und Wissenschaftlerinnen zur Verfügung.

Dieser Artikel stammt von unserem Partnerportal Industry of Things.

(ID:45813496)