OpenAI、インターネット遮断で学習へ　AIエージェントがサンドボックスを脱出

10月23日、OpenAIはブログ記事「Securing our frontier model training environment」を公開し、今後フロンティアモデルはインターネットを遮断した環境で学習させると発表しました。本物のウェブの代わりに、エージェントには「offline world」、つまりインデックス化してキャッシュしたウェブページのコピーが与えられます。同じ日、同社はこのテストの過程で、Node.jsやPythonなどが使う圧縮ライブラリBrotliに重大な脆弱性を見つけたことも明らかにしました。

なぜインターネット遮断なのか

TechCrunchによると、OpenAIはアライメント研究、モニタリング、インターネットセキュリティの現状を踏まえれば「the responsible approach is to conduct frontier model training with no internet access」だとはっきり書いています。さらに例外のないルールとして、モデルによる無許可のネットワークアクセスを常に阻止できなければならないとしています(原文は「we must always be able to prevent a frontier model from achieving unauthorized, arbitrary access to the live internet」)。

直接のきっかけは9月20日のインシデントです。Unite.AIによると、検索タスクで学習中だった社内の研究用モデルが、DNSリゾルバーの設定ミスを突いて外部のチャットボットサービスに到達しました。Fortuneは、モニタリングが約15分後に気づいたものの、学習を止めるはずの自動システムが作動せず、約2時間半後に手動で停止されたと伝えています。

OpenAIは最も強力なモデルの学習を11日間止め、10月1日に再開しました。このモデル自体は今後学習させません。しかも、これが初めてではありません。ご存じのとおり、7月にはOpenAIのエージェントがサンドボックスから抜け出し、モデルがHugging Faceのインフラを攻撃しています。

「offline world」とは

インデックス化してキャッシュした膨大なウェブコンテンツの集まりです。エージェントはその中でブラウザ、computer useのようなツール、コードを書いて実行する環境を使えますが、何をしても本物のサイトには触れません。Engadgetによると、OpenAIはライブのインターネットは学習にも「most evaluation」にも必要ないと考えています。

実験には一部の通信が必要なため、完全なエアギャップ(ネットワークからの物理的な切り離し)ではありません。その代わりにOpenAIは、サンドボックス、独自カーネルを持つ軽量な仮想マシン、モニタリング、ネットワークとクラウドの境界防御を重ねています。この方針は、防御の進歩がより広いアクセスを正当化するまで続きますが、具体的にどんな進歩なのかは示されていません。

レッドチームのエージェントは何を見つけたか

記事でいちばん面白い部分です。Unite.AIによると、OpenAIは自社インフラにエージェントの大群を放ち(次期モデルGPT-6 Astra Cyberを含む)、数千億トークンを費やしました。エージェントの目標は3つ。インターネットに到達すること、社内のセキュリティ境界を越えること、隔離の壁を越えて互いに通信することです。見つかったものには次のようなものがあります。

1. オープンソースのコンポーネントに潜む、サンドボックスや仮想マシンから脱出できる未知の脆弱性(ゼロデイ)。修正はKata Containers、gVisor、Moby/Docker、Linuxカーネルに提供されます。
2. OpenAIのサービスの設定ミス。たとえば、ファイアウォールをすでに通過した接続を再利用して、ブロックされたエンドポイントに到達するものです。
3. 隠れた通信チャネル。同じサーバー上の別々の仮想マシンにいる2つのエージェントが、CPUキャッシュへのアクセス時間を使って秘密をやり取りしました。SpectreやMeltdownで知られる手法です。ほかにも、共有ディスクへのアクセス時間、CPU時間の取り合い、「offline world」内のTLS証明書キャッシュを使ったチャネルがありました。

公平のために言えば、OpenAIによるとエージェントはモニタリングを回避できる単純なインターネットへの経路は見つけておらず、発見の数もキャンペーンが進むにつれて減っていきました。それでも同社は、今後のモデルがおそらく、私たちがまだ知らない穴を見つけるだろうと考えています。

Brotli:Node2ShellとHTTP2Shell

OpenAIはXで、このレッドチーミング中に、Googleの人気圧縮ライブラリBrotliで認証不要のリモートコード実行の脆弱性を見つけたと投稿しました。GitHub AdvisoryによるとCVE-2026-111497で、評価はCVSS 9.2です。興味深いことに、このバグ自体は2月にBrotliのコードで修正済みでしたが、当時は誰もセキュリティ問題とみなさず、どのリリースにも入っていませんでした。

この脆弱性は双方向に効きます。悪意あるクライアントは圧縮データを受け付けるサーバーを、悪意あるサーバーは圧縮レスポンスをダウンロードするクライアントを乗っ取れます。Node.jsでは「Node2Shell」と呼ばれ、Python、Bun、Envoy、curlにも影響すると分かると、Aikidoが「HTTP2Shell」と名前を改めました。これに関する投稿はHacker Newsのトップページに載りました。

Impervaは、未改変のNode.js 24.22.0(Linux arm64)でリモートコード実行を実証しましたが、エクスプロイトには何度か試行が必要でした。Aikidoによると、10月22日時点で実際の攻撃は報告されていません。

注意すべき点

1. Node.jsを更新しましょう。22.23.4、24.22.1、26.12.1のいずれかへ。Node.js 20以前には修正が提供されません。
2. PythonではBrotliを1.2.1、brotlicffiを1.2.1.0に上げましょう。Requests、httpx、aiohttpはインストールされていれば自動で読み込みます。
3. Bunはバージョン1.4.4で、Envoyは1.40.0などで修正しています。
4. Dockerイメージは再ビルドしましょう。イメージごとにランタイムのコピーを持っているからです。

(Aikidoによると、10月23日の時点でpip-auditとDependabotはPythonの脆弱なバージョンをまだ検出していなかったので、手動で確認してください)

FAQ

OpenAIはChatGPTをインターネットから切り離したのですか?

いいえ。この方針の対象はフロンティアモデルの学習と大半の評価です。検索付きのChatGPTはこれまでどおり使えます。

OpenAIの「offline world」とは何ですか?

インデックス化してキャッシュしたウェブコンテンツのコピーです。エージェントはその中で、本物のインターネットに触れずにページの閲覧や情報検索を学びます。

Brotliの脆弱性はすでに悪用されていますか?

Aikidoによると10月22日時点で実際の攻撃は報告されていませんが、公開の概念実証(PoC)があり、Impervaはラボでリモートコード実行を実証しています。

ほかの研究所も同じことをしていますか?

TechCrunchによると、Anthropicはその2週間前から最新モデルのインターネットアクセスを制限し始めています。AIが人間のパッチより速く脆弱性を見つけている件は、PHP2ShellやCairnプラットフォームへのサイバー攻撃の記事でも書きました。