250 Dokumente für eine Hintertür: Automation Bias und die Grenzen des Vertrauens

Als Linse dient in dieser Folge das Borg-Kollektiv aus Star Trek, und die Analogie trägt weiter als die Anspielung. Was seit dem GPT-Moment technologisch passiert ist, lässt sich als demokratisierter Zugriff auf kollektives Wissen und kollektive Fähigkeit beschreiben.

Über MCP und neue Werkzeugschnittstellen ist daraus inzwischen Weltlogik statt bloßem Weltwissen geworden: Das Modell weiß nicht nur etwas, es kann etwas ausführen.

Der Befund zu Poisoning

Die referenzierte Studie zu Poisoning-Angriffen auf Sprachmodelle nennt eine Zahl, die in ihrer Schlichtheit alarmierend ist: Rund 250 gezielt präparierte Dokumente reichen, um einem Modell eine Hintertür beizubringen.

Dazu kommt eine Beobachtung, die weniger technisch und mindestens so relevant ist: Modelle antworten je nach Herkunft unterschiedlich territorial. Was ein System als heikel behandelt und was nicht, hängt davon ab, wo es trainiert wurde.

Automation Bias

Der zweite große Strang der Folge betrifft eine Gewohnheit, nicht die Technik. Je besser die Bedienung eines Agentensystems ist, desto seltener greift der Mensch ein.

Das ist der klassische Automation Bias aus der Luftfahrtforschung: Menschen übernehmen Vorschläge automatisierter Systeme häufiger als eigene Urteile, und die Bereitschaft dazu steigt, je zuverlässiger das System bisher war.

In der Folge heißt das Soft-Assimilation, und der Begriff trifft: kein Zwang, sondern schrittweise Gewöhnung. Die Parallele zur freiwilligen Datenpreisgabe bei Payback-Karten und sozialen Netzwerken liegt nahe.

Für die Praxis ist der Punkt konkreter, als er klingt. Ein System, das in 95 von 100 Fällen richtig liegt, ist gefährlicher als eines, das in 70 Fällen richtig liegt, weil beim ersten niemand mehr hinschaut. Prüfroutinen müssen deshalb unabhängig davon bestehen bleiben, wie gut die bisherige Trefferquote war. Stichproben ohne Anlass sind das Einzige, was gegen diesen Effekt hilft.

Das Ende des Interfaces

Der technische Schlussteil betrifft die Eingabe. Sprachbasierte Oberflächen wie Wispr Flow verdrängen in Unternehmen Tastatur und Maus, und die Zahlen sind deutlich: von 20 Prozent Sprachnutzung im ersten Monat auf 78 Prozent im fünften.

Diese Kurve ist der eigentliche Befund. Eine Verdreifachung innerhalb von fünf Monaten beschreibt keine Neugier, sondern eine Umstellung von Gewohnheiten. Wer Werkzeuge einführt, sollte solche Kurven kennen: Der Widerstand in Monat eins sagt wenig über die Nutzung in Monat fünf.

Die nächste Stufe wären Brain-Computer-Interfaces wie Neuralink, in der Folge als mögliches echtes Ende des Interfaces verhandelt. Die Chancen für Menschen mit Einschränkungen sind real und unbestritten. Die ungeklärten Fragen ebenfalls: Aktualisierungszyklen, Angriffsmöglichkeiten und eine tiefere Form der Abhängigkeit.

Fazit

Die Borg-Analogie führt zu drei Punkten, die alle unabhängig von Star Trek gelten.

Erstens: Ein Modell ist nur so vertrauenswürdig wie seine Herkunft, und 250 Dokumente reichen, um das zu untergraben. Für sicherheitskritische Aufgaben zählt, wer trainiert hat und womit.

Zweitens: Je besser ein System läuft, desto weniger wird geprüft. Bauen Sie Stichproben ein, die unabhängig von der Trefferquote stattfinden, sonst verschwindet die Kontrolle genau dann, wenn sie gebraucht wird.

Drittens: Die Umstellung der Eingabekanäle läuft schneller, als Einführungsprojekte planen. Sprache ist in einigen Umgebungen bereits die Hauptform der Texteingabe.

Widerstand ist nicht zwecklos. Er muss nur eingebaut sein statt spontan erwartet zu werden.