Die Kosten von selbstbewusstem Unsinn

Martin Fowler gibt an, dass er LLMs nicht mag, weil sie ihn selbstbewusst mit Unsinn füttern¹. Er beschreibt dies als ein unheimliches Tal beim Gespräch mit einem echten Menschen, bei dem das Werkzeug nützliche Antworten liefert, aber auch mit derselben Sicherheit Dinge erfindet¹.

Die Lücke zwischen Nutzung und Vertrauen

Fowlers Erfahrung hebt eine Spannung in der aktuellen Softwarepraxis hervor: der Druck, diese Werkzeuge zur Steigerung der Produktivität einzusetzen, versus das Unbehagen über ihre Unzuverlässigkeit¹. Er stellt fest, dass LLMs zwar nützlich sind, aber mit den Werten ihrer Unternehmensentwickler geprägt werden, was zu einer Weltsicht führt, die nicht unbedingt mit der des Nutzers übereinstimmt¹.

Ein aktueller Artikel in Frontiers in Psychology bietet eine andere Perspektive auf diese Interaktion². Er argumentiert, dass für Mensch-KI-Systeme "cognitive integration," erreicht werden muss, indem Informationen bidirektional über die Schnittstelle fließen². Es reicht nicht aus, wenn eine KI eine Ausgabe erzeugt, die ein Mensch akzeptiert². Das System muss es dem Menschen ermöglichen, seine Ziele und Fehlerkorrekturpraktiken zu bewahren und die gemeinsame Repräsentation über die Zeit zu revidieren².

Funktionale Kopplung reicht nicht aus

Die Forschung unterscheidet zwischen "functional integration,", bei der Komponenten zuverlässig zu gemeinsamen Ergebnissen beitragen, und "cognitive integration,", bei der wiederkehrende Interaktion verändert, was das System aufrechterhalten und abrufen kann². Fowlers Abneigung resultiert aus dem Fehlen dieser tieferen Integration^1,2. Das LLM liefert funktionale Ausgabe, engagiert sich aber nicht in der rekursiven Revision, die für eine echte kognitive Partnerschaft erforderlich ist².

Der Artikel identifiziert vier diagnostische Eigenschaften für diesen tieferen Zustand: bidirektionale Einschränkung, Persistenz, domänenübergreifende Zugänglichkeit und rekursive Revision². Aktuelle LLM-Interaktionen scheitern oft an den Tests für Persistenz und Revision². Das Modell behält den spezifischen Kontext der Korrektur des Menschen nicht so bei, dass es sein zukünftiges Verhalten grundlegend verändert, und es erlaubt dem Menschen auch nicht, den Inhalt leicht über verschiedene kognitive Systeme hinweg neu zu formatieren².

Fowler schlägt einen Life-Hack vor: Menschen meiden, denen er nicht vertraut¹. Im professionellen Kontext übersetzt sich dies in Skepsis gegenüber Werkzeugen, die Kompetenz simulieren, ohne sie zu besitzen¹. Der akademische Rahmen deutet darauf hin, dass KI-Systeme, solange sie keine echte bidirektionale Einschränkung unterstützen, funktionale Werkzeuge bleiben und keine kognitiven Partner sind². Das Unbehagen, das Nutzer empfinden, ist ein Signal dafür, dass die Schnittstelle noch nicht auf dem Niveau integriert ist, das für eine vertrauensvolle Zusammenarbeit erforderlich ist^1,2.