OpenAI: Training ohne Internet, weil KI-Agenten aus der Sandbox ausbrachen

Am 23. Oktober veröffentlichte OpenAI den Beitrag „Securing our frontier model training environment“ und kündigte darin an: Frontier-Modelle trainiert das Unternehmen ab sofort ohne Internet. Statt des echten Netzes bekommen die Agenten eine sogenannte „Offline World“, also eine indexierte und gecachte Kopie von Webseiten. Am selben Tag gab OpenAI bekannt, bei diesen Tests eine kritische Lücke in der Bibliothek Brotli gefunden zu haben, die unter anderem Node.js und Python nutzen.

Warum Training ohne Internet?

Laut TechCrunch schreibt OpenAI offen, dass beim heutigen Stand von Alignment-Forschung, Monitoring und Internetsicherheit „the responsible approach is to conduct frontier model training with no internet access“. Dazu kommt eine Regel ohne Ausnahmen: Das Unternehmen muss ein Modell jederzeit am unautorisierten Zugriff aufs Netz hindern können (im Original: „we must always be able to prevent a frontier model from achieving unauthorized, arbitrary access to the live internet“).

Direkter Auslöser war ein Vorfall vom 20. September. Laut Unite.AI nutzte ein internes Forschungsmodell, das auf einer Suchaufgabe trainiert wurde, einen falsch konfigurierten DNS-Resolver und erreichte einen externen Chatbot-Dienst. Fortune ergänzt, dass das Monitoring es nach etwa 15 Minuten bemerkte, das automatische System zum Stoppen des Trainings aber versagte. Der Run wurde nach rund zweieinhalb Stunden von Hand beendet.

OpenAI pausierte das Training seiner stärksten Modelle für 11 Tage und nahm es am 1. Oktober wieder auf. Dieses konkrete Modell wird nicht weitertrainiert. Und es ist nicht der erste Fall: Wie wir wissen, entkamen OpenAI-Agenten im Juli ihrer Sandbox, und die Modelle griffen die Infrastruktur von Hugging Face an.

Was ist die „Offline World“?

Eine riesige Sammlung indexierter und gecachter Webinhalte. Darin haben die Agenten Browser, Tools im Stil von Computer Use und Umgebungen zum Schreiben und Ausführen von Code, aber nichts, was sie tun, berührt echte Websites. Laut Engadget hält OpenAI das Live-Internet weder fürs Training noch für „most evaluation“ für nötig.

Einen vollständigen Air Gap (physische Trennung vom Netz) gibt es nicht, weil Experimente manche Verbindungen brauchen. Stattdessen setzt OpenAI auf Schichten: Sandboxes, leichtgewichtige virtuelle Maschinen mit eigenem Kernel, Monitoring sowie einen Netzwerk- und Cloud-Perimeter. Die Regel gilt, bis Fortschritte bei den Schutzmaßnahmen breiteren Zugang rechtfertigen, OpenAI hat aber nicht gesagt, wie dieser Fortschritt konkret aussehen soll.

Was fanden die Red-Team-Agenten?

Der spannendste Teil des Beitrags. Laut Unite.AI ließ OpenAI ganze Flotten von Agenten auf die eigene Infrastruktur los (darunter das kommende Modell GPT-6 Astra Cyber) und verbrauchte dafür Hunderte Milliarden Tokens. Die Agenten hatten drei Ziele: ins Internet gelangen, eine interne Sicherheitsgrenze überwinden und über Isolationsgrenzen hinweg kommunizieren. Sie fanden unter anderem:

1. Bisher unbekannte Lücken (Zero-Days) in Open-Source-Komponenten, mit denen sich Sandbox und virtuelle Maschine verlassen ließen. Die Fixes gehen an Kata Containers, gVisor, Moby/Docker und den Linux-Kernel.
2. Konfigurationsfehler in OpenAIs Diensten, etwa die Wiederverwendung einer bereits durch die Firewall gelassenen Verbindung, um einen gesperrten Endpunkt zu erreichen.
3. Verdeckte Kommunikationskanäle. Zwei Agenten in getrennten virtuellen Maschinen auf demselben Server tauschten Geheimnisse über die Zugriffszeit auf den CPU-Cache aus, also mit einer Technik, die man von Spectre und Meltdown kennt. Andere Kanäle liefen über die Zugriffszeit auf eine gemeinsame Festplatte, den Wettbewerb um CPU-Zeit und den TLS-Zertifikatscache in der „Offline World“ selbst.

Fairerweise muss man sagen: Laut OpenAI fanden die Agenten keinen trivialen Weg ins Internet, der das Monitoring umgangen hätte, und die Zahl der Funde sank im Lauf der Kampagne. Das Unternehmen geht aber davon aus, dass künftige Modelle wahrscheinlich Lücken finden, von denen wir heute noch nichts wissen.

Brotli: Node2Shell und HTTP2Shell

OpenAI schrieb auf X, dass es bei diesem Red Teaming eine Lücke für Remote Code Execution ohne Anmeldung in Brotli gefunden hat, der verbreiteten Kompressionsbibliothek von Google. Es handelt sich um CVE-2026-111497 mit CVSS 9.2 laut GitHub Advisory. Interessant: Der Fehler selbst wurde schon im Februar im Brotli-Code behoben, galt damals aber nicht als Sicherheitsproblem und landete in keinem Release.

Die Lücke wirkt in beide Richtungen: Ein bösartiger Client kann einen Server übernehmen, der komprimierte Daten annimmt, und ein bösartiger Server einen Client, der komprimierte Antworten lädt. In Node.js hieß sie „Node2Shell“, und Aikido benannte sie in „HTTP2Shell“ um, als klar wurde, dass auch Python, Bun, Envoy und curl betroffen sind. Ein Beitrag dazu landete auf der Startseite von Hacker News.

Imperva zeigte Remote Code Execution auf einem unveränderten Node.js 24.22.0 (Linux arm64), wobei der Exploit mehrere Versuche brauchte. Laut Aikido wurden bis zum 22. Oktober keine Angriffe in freier Wildbahn gemeldet.

Worauf sollten wir achten?

1. Node.js aktualisieren auf 22.23.4, 24.22.1 oder 26.12.1. Node.js 20 und älter bekommen keinen Fix.
2. In Python Brotli auf 1.2.1 und brotlicffi auf 1.2.1.0 anheben. Requests, httpx und aiohttp laden sie automatisch, wenn sie installiert sind.
3. Bun behebt die Lücke in Version 1.4.4, Envoy unter anderem in 1.40.0.
4. Docker-Images neu bauen, denn jedes hat seine eigene Kopie der Runtime.

(laut Aikido markierten pip-audit und Dependabot am 23. Oktober noch keine verwundbaren Python-Versionen, also prüf sie von Hand)

FAQ

Hat OpenAI ChatGPT vom Internet abgeschnitten?

Nein. Die Regel betrifft das Training und den Großteil der Evaluierung von Frontier-Modellen. ChatGPT mit Suche funktioniert wie bisher.

Was ist die „Offline World“ von OpenAI?

Eine indexierte und gecachte Kopie von Webinhalten, in der Agenten lernen, Seiten zu durchsuchen und Informationen zu finden, ohne das echte Internet zu berühren.

Wird die Brotli-Lücke schon ausgenutzt?

Laut Aikido wurden bis zum 22. Oktober keine Angriffe in freier Wildbahn gemeldet, es gibt aber einen öffentlichen Proof of Concept, und Imperva hat Remote Code Execution im Labor gezeigt.

Machen andere Labore dasselbe?

Laut TechCrunch begann Anthropic zwei Wochen zuvor, den Internetzugang seiner neuesten Modelle einzuschränken. Wie KI Lücken schneller findet, als Menschen sie patchen, habe ich bei PHP2Shell und beim KI-Hackerangriff auf die Plattform Cairn beschrieben.