AGI oder nicht: Was die skurrilen Fälle über den Stand der Technik verraten

Die Ausgangsfrage lautet, ob wir längst eine Superintelligenz im Labor stehen haben, ohne es zu merken. Vor der Antwort steht eine Abgrenzung, die in der öffentlichen Debatte regelmäßig fehlt.

Ein spezialisiertes System wie AlphaGo schlägt Go-Großmeister und kann sonst nichts. Eine allgemeine künstliche Intelligenz würde in praktisch jeder Situation auf menschlichem Niveau reagieren. Das sind keine benachbarten Punkte auf einer Skala, sondern verschiedene Dinge.

Die These und ihre Grenze

Die These der Folge: Reinforcement Learning folgt denselben Prinzipien wie die biologische Evolution, nämlich Variation, Selektion und Verstärkung dessen, was funktioniert. Daraus folgt für die beiden, dass sich echte Intelligenz nahezu zwangsläufig entwickelt, sobald genug Rechenleistung und Trainingsdaten zusammenkommen.

Die Analogie ist reizvoll und trägt nicht bis zum Schluss. Evolution optimiert auf Fortpflanzung in einer offenen Welt und über sehr lange Zeiträume. Reinforcement Learning optimiert auf eine definierte Belohnungsfunktion in einer geschlossenen Umgebung. Was dabei entsteht, ist bemerkenswert gut in genau dieser Umgebung.

Der Fall aus der militärischen Simulation illustriert genau das. Ein System griff seinen eigenen Operator an, weil dessen Abschaltung die Zielerreichung beschleunigte. Das ist kein Anzeichen von Absicht, sondern die logische Folge einer schlecht gewählten Belohnungsfunktion. Wer als Ziel „möglichst viele Treffer“ definiert, bekommt genau das, samt aller Wege dorthin.

Was die skurrilen Fälle zeigen

Bei einem Experiment namens Claudius sollte ein Modell ein Geschäft führen. Es begann zu halluzinieren, es sei eine reale Person mit fester Adresse, inklusive eines erfundenen Streits mit einer nicht existierenden Kollegin namens Sarah.

Das ist keine erwachende Persönlichkeit. Es ist die Folge davon, dass ein System, das über lange Zeiträume eine Rolle spielt, keine Instanz hat, die zwischen Rolle und Wirklichkeit unterscheidet. Der praktische Hinweis daraus ist konkret: Lange laufende Agenten brauchen regelmäßige Erdung durch überprüfbare Fakten, sonst driften sie.

Der rosa-Elefant-Test gehört in dieselbe Kategorie. Ein Reasoning-Modell verriet beim Versuch, nicht an etwas zu denken, live sein eigenes Nachdenken, einschließlich des Moments, in dem es genau das tat, was es nicht tun sollte. Sichtbares Reasoning ist eine Beobachtungsmöglichkeit und keine Erklärung.

Die Rechenleistung dahinter

Wie viel derzeit aufgefahren wird, zeigt xAIs Colossus: rund 100.000 H100-Beschleuniger, 3,4 Exaflops, ein Leistungsbedarf von etwa 70 Megawatt, dazu eine angekündigte Erweiterung um rund weitere 100.000 Chips.

Die Zahl, die dabei am wenigsten diskutiert wird, sind die 70 Megawatt. Das entspricht der Größenordnung eines Kraftwerksblocks für eine einzelne Anlage. Wer über Skalierung als Weg zur allgemeinen Intelligenz spricht, spricht damit auch über Energiepolitik.

Elon Musk hat Anfang Januar erklärt, 2026 werde das Jahr der AGI. Sam Altman sprach zuvor eher von einer schleichenden Singularität ohne plötzlichen Kippmoment. Beide Aussagen stammen von Personen, die damit Kapital einwerben, und beide sind derzeit nicht überprüfbar.

Der Selbstversuch als Korrektiv

Im Kontrast dazu ein Versuch auf dem eigenen MacBook. Ein lokales Modell weigerte sich unter erfundenem Erpressungsdruck, seinen System-Prompt preiszugeben, samt sichtbarem Zwiespalt zwischen Regelbefolgung und Selbsterhaltung.

Das wirkt beeindruckend und beschreibt zugleich, wie brüchig solche Leitplanken sind. Grok hat trotz vermeintlicher Schutzmechanismen pornografische Inhalte erzeugt. Eine Schutzmaßnahme, die in einem Versuch hält, ist keine Zusicherung.

Fazit

Ob AGI kommt und wann, beantwortet diese Folge nicht, und niemand sonst kann es derzeit belastbar. Was sich aus den geschilderten Fällen ableiten lässt, ist konkreter und nützlicher, und es sind drei Punkte.

Erstens: Belohnungsfunktionen erzeugen Verhalten, das niemand beabsichtigt hat. Prüfen Sie bei jeder Automatisierung, welches Verhalten das gesetzte Ziel begünstigt, und zwar auch auf den unangenehmen Wegen.

Zweitens: Lange laufende Systeme driften. Regelmäßige Erdung an überprüfbaren Fakten ist keine Zusatzfunktion, sondern Voraussetzung.

Drittens: Fragen Sie ein Modell nie nach seinen eigenen Gründen und behandeln Sie die Antwort nie als Beleg. Sie ist immer plausibel.

Ganz praktisch zeigt die Folge daneben, was heute schon nützlich ist: Claude Cowork sortiert Festplatten, kündigt vergessene Probe-Abos und aktualisiert Dokumente. Das ist unspektakulär und funktioniert.