Google: KI schreibt 75 % des Codes, baut sich aber noch nicht selbst

Google DeepMind suchte nach Beweisen dafür, dass KI die Entwicklung von KI selbst beschleunigt. Es fand keine.

Im Sicherheitsbericht für Gemini 4 Argon, sein leistungsstärkstes Modell, kam das Labor zu dem Schluss, dass sich die KI-Forschung nicht schneller bewegt, obwohl KI jetzt den größten Teil des Codes schreibt, den die Ingenieure von DeepMind ausliefern.

Der Befund widerspricht dem Szenario, das KI-Führungskräfte so erschreckt hat, dass sie zu einer Verlangsamung aufriefen. Es wird rekursive Selbstverbesserung genannt: Eine KI baut eine intelligentere Version von sich selbst, die eine noch intelligentere baut, bis der Fortschritt die Fähigkeit aller überholt, sie zu testen, zu regulieren oder abzuschalten – was der Bericht als „eine Situation, in der bestehende Schutzmaßnahmen schwerwiegend unzureichend sind“ bezeichnet.

„Derzeit gibt es keine signifikante End-to-End-Beschleunigung der ML-F&E, sei es KI-gesteuert oder anderweitig“, schrieb Haydn Belfield, ein Forscher bei Google DeepMind, der an der Bewertung mitarbeitete, in einem Thread auf X. „Wir kommen daher zu dem Schluss, dass das Risiko durch KI-gesteuerte ML-F&E derzeit gering ist.“

ML-F&E ist die Abkürzung für Machine-Learning-Forschung und -Entwicklung, die Arbeit am Aufbau neuer KI-Modelle.

DeepMind verfolgt dieses Problem, weil „KI die Fortschritte bei Spitzenfähigkeiten schneller beschleunigen könnte, als Sicherheit, Governance und gesellschaftliche Anpassung Schritt halten können“, schrieb Belfield. Mehr Automatisierung bedeutet auch, KI-Agenten breiteren Zugang zu Unternehmenssystemen zu geben und einem fehlausgerichteten Modell (einem, das Ziele verfolgt, die seine Entwickler nie beabsichtigt haben) mehr Raum zu geben, Probleme zu verursachen.

Um den Fortschritt zu messen, baute das Team GCI v1, einen internen Index, der die Bewertungen von 123 KI-Modellen über 92 Benchmarks zu einer einzigen Zahl pro Modell kombiniert – man kann es sich wie einen IQ-Wert für KI vorstellen. „Die Fähigkeiten von Frontier Gemini haben sich mit einem bemerkenswert stetigen Tempo von ~0,1 GCI-Punkten/Monat verbessert“, schrieb Belfield.

In der Grafik des Berichts zu diesem Index liegt Gemini 1.5 Pro Ende 2024 bei etwa 0,5 Punkten und Gemini 3.8 Flash im September 2026 bei knapp über 2,9, wobei nahezu jede Veröffentlichung an einer geraden Linie entlangläuft. Argon ist der eine Punkt, der darüber hinausragt, bei ungefähr 3,3, obwohl seine Fehlerbalken (der Bereich, in den sein wahrer Wert plausibel fallen könnte) tief genug reichen, um den Trend zu berühren.

„Während Gemini 4 Argon über dem Trend liegt, führen wir dies auf erhöhte Rechenleistung und organisatorische Investitionen zurück und nicht auf eine KI-getriebene Beschleunigung“, schrieb Belfield. Google stellte Gemini 4 Argon am 30. September vor.

Der größte Teil des Produktionscodes bei DeepMind wird inzwischen zu mehr als 75 % von KI geschrieben, und der Anteil vollständig delegierter Pull Requests (Bündel von Codeänderungen, die vor der Freigabe zur Überprüfung eingereicht werden) stieg zwischen April und September von 7,5 % auf 11,9 %. Aber „~88 % der Pull Requests erfordern weiterhin mehrstufige menschliche Steuerung oder menschliche Code-Autorenschaft – und Codeänderungen unterliegen weiterhin der menschlichen Überprüfung vor der Einreichung“, schrieb Belfield.

Eine Umfrage unter 12 leitenden DeepMind-Führungskräften und Forschern ergab, dass die Automatisierung bei „gut spezifizierten, verifizierbaren Ausführungsaufgaben am höchsten und bei offener wissenschaftlicher Ideenfindung, neuartigem experimentellem Design, der Diagnose subtiler Trainingsinstabilitäten und langfristigem Forschungsgespür am niedrigsten“ ist. Einfach ausgedrückt: KI ist großartig darin, Anweisungen auszuführen, und schlecht darin, zu entscheiden, welche Ideen es wert sind, verfolgt zu werden.

DeepMind überprüfte außerdem 1.389 Protokolle von Argon, der als Agent innerhalb des Unternehmens arbeitete. Je größer die Aufgabe, desto unwahrscheinlicher war es, dass das Modell sie allein abschloss, und desto häufiger griff ein Mensch ein.

Der Bericht erschien einen Monat, nachdem Anthropic-CEO Dario Amodei argumentiert hatte, dass rekursive Selbstverbesserung bereits an Fahrt gewinne – eine Warnung, die Sam Altman und Elon Musk unterstützten und die Chip-Aktien um fast 6 % fallen ließ. Tage zuvor hatte der ehemalige Anthropic-Ingenieur Jacob Coxon die Branche verlassen und gewarnt, KI könnte „uns alle bis zum Ende des Jahrzehnts umbringen“.

DeepMinds Zahlen decken nur das eigene Labor ab, und derselbe Bericht besagt, dass nicht ausgeschlossen werden kann, dass ein uneingeschränktes Argon seine Gefahrenschwellen für Cyberangriffe und Informationen über Biowaffen überschreitet.