Zuversichtlich falsch

Der Hype um Künstliche Intelligenz hat mittlerweile eine Art Sattelpunkt erreicht. Waren die Warnungen vor der KI-Weltherrschaft, die die Menschen überflüssig mache, vielleicht doch etwas übertrieben? Sind die vermeintlich überlegenen Sprachmodelle doch nicht die besseren Dichter und Denker, sondern einfach bessere Suchmaschinen? Dass pragmatische Normalität eingekehrt scheint, lässt sich in immer mehr Bereichen beobachten, in denen »KI-gestützt« gearbeitet wird. In manchen Wissenschaftsdisziplinen hat sich bereits die Haltung durchgesetzt, dass KI in der Forschung nicht nur eine Option, sondern ein Gebot darstellt – andernfalls wären die Ergebnisse und verarbeiteten Daten schlicht nicht mehr state of the art. Und auch im Journalismus etwa wird die neue Verdichtung von Arbeit und Datenmengen zum Standard.

Zu blöd nur, dass auch die gedämpften Erwartungen an die KI als bloße Suchmaschine deren grundlegende Probleme nicht ausräumen. Anfang März publizierte die Zeitschrift »Columbia Journalism Review«[1] eine Untersuchung zur Fehleranfälligkeit generativer KI-Modelle und kam zu ernüchternden Ergebnissen. Acht Modelle wurden dafür mit Inhalten von Zeitungsartikeln versorgt und sollten diese den Originalartikeln mit Überschriften und Quelle zuordnen. Bei durchschnittlich mehr als 60 Prozent dieser Abfragen lieferten die Modelle falsche Angaben. Von den jeweils 200 Abfragen gab etwa ChatGPT 134 falsch aus, Grok 3 konnte nur zehn überhaupt richtig zitieren und selbst das vielgelobte Modell Perplexity gab in der Bezahlversion noch 90 falsche Angaben.

Das Bemerkenswerte daran ist nicht nur die enorm hohe Fehlerrate, sondern dass die KI-Modelle die Eindeutigkeit vor der Richtigkeit priorisieren. So antworten die Modelle durchgängig »zuversichtlich falsch«, sprich sie geben irritationsfrei falsche Angaben. Folglich werden die Falschaussagen auch weniger nachgeprüft, was zu einer weiteren und schnelleren Verbreitung von Desinformation führen kann.

Hat sich die Maschine hier ein allzu menschliches Fehlverhalten abgeschaut? Vielleicht leidet sie unter dem sogenannten Imposter-Syndrom, bei dem man sich durch die kleinsten Verdachtsfälle von Fehlbarkeit wie ein überführter Betrüger vorkommt. Oder sie handelt nach dem Verkäufermindset, um den Expertenschein zu wahren und die Kundschaft zu übertölpeln, indem man lieber irgendetwas zum Produkt fantasiert, als ahnungslos zu wirken.

Fakt ist, diese Maschinen spiegeln uns den gesellschaftlichen Durchschnitt zurück, aus dem sie hervorgegangen sind. Wir haben diese KIs trainiert. Vielleicht ist es dann langsam mal Zeit, dass auch die Nutzer*innen anfangen, eine Lektion der KI zu lernen: den Stuss der maschinenoptimierten Wahrscheinlichkeitsrechnungen nicht für bare Münze nehmen; sich selbst Fehler zutrauen und zugestehen; und diese arbeitsverdichtete Optimierung zurückweisen, in der für all das kein Raum mehr bleiben wird.

Links:

1. https://www.cjr.org/tow_center/we-compared-eight-ai-search-engines-theyre-all-bad-at-citing-news.php