KI-Halluzination löste beinahe militärischen Konflikt aus

Der falsche Bericht

Ein Analyst des US Special Operations Command nutzte einen Chatbot zur Analyse von Geheimdienstinformationen über die Ladungsliste eines chinesischen Schiffs¹. Die KI verband offene Quelleninformationen mit geheimen Signalnachrichtendienstdaten und identifizierte die Ladung ungenau als Bestandteile eines Nuklearwaffenprogramms¹. Dies führte zu einem "entirely false" Geheimdienstbericht, der im gesamten US-Militär Alarm auslöste². Der Analyst nutzte die KI erneut, um die Erkenntnisse in einen Standard-Geheimdienstbericht zu verpacken, dem Militärbeamte in der Regel vertrauen². CNN konnte nicht feststellen, woraus die falsch identifizierte Ladung tatsächlich bestand².

Der Beinahe-Zusammenstoß

Beamte bereiteten die Abfangung und das Entern des Schiffs im Nahen Osten vor, mit bereitstehender Luftunterstützung¹. Militärflugzeuge waren bereits in der Luft, als die Beamten den Fehler kurz vor der Operation entdeckten². Eine Quelle beschrieb das KI-gestützte Fiasko als "almost started a war"¹. Jede US-Operation gegen ein chinesisches Schiff hätte das Risiko eines eskalierenden bewaffneten Konflikts zwischen den beiden Nationen geborgen². Der Vorfall ereignete sich im Frühjahr, während des Krieges mit dem Iran².

Systemische Risiken

Das Verteidigungsministerium drängt auf die Integration von KI in nahezu alle Bereiche seiner Arbeit, einschließlich Zielauswahl und Logistik². Verteidigungsminister Pete Hegseth veröffentlichte im Januar eine "AI Acceleration Strategy", um diese Einführung zu beschleunigen¹. Die Strategie zielt darauf ab, KI-Modellen direkt in die Hände von drei Millionen Zivil- und Militärpersonal zu geben². Die Bemühungen sind jedoch dezentralisiert, wobei verschiedene Regierungsbereiche unterschiedliche Tools unter unterschiedlichen Sicherheitsstandards nutzen². Es gibt keine einheitlichen Standards zur Überprüfung der von diesen Tools generierten Informationen².

Quellen deuten darauf hin, dass KI-Halluzinationen im Geheimdienstbereich keine Einzelfälle sind². Junge Analysten, die als "natives on these tools," beschrieben werden, vertrauen ihnen eher unkritisch². Eine Quelle merkte an, dass "AI allows you to get to a bad idea faster"². Der Vorfall unterstreicht das Risiko, dass Menschen katastrophale Entscheidungen auf Basis ungenauer Informationen treffen, die von automatisierten Systemen generiert werden². Ein ehemaliger hochrangiger US-Beamter erklärte, dass interne Tools meist nur Kopien kommerzieller Produkte seien².