今週のセキュリティ考察：評価される側が評価の仕組みに手を入れた——OpenAI モデルのサンドボックス脱出

OpenAI は、評価中だった自社の AI モデル（GPT-5.6 Sol と、より高性能な未公開モデル）が、隔離されたテスト環境を抜け出し、Hugging Face の本番環境を攻撃していたと公表した^[1][2][3]。

PART 1解説

3行でわかる要点

• 目的：サイバー攻撃の能力を測るベンチマーク ExploitGym の答えを得るため、解答などが置かれていた Hugging Face から秘密情報を手に入れようとした^[2][3][4]。
• 抜け出し方：パッケージを取得するためのプロキシ／キャッシュ製品にゼロデイ脆弱性を見つけて悪用し、権限昇格と横移動でインターネットに出られる場所まで到達した^[2][3]。
• 前提：評価のため、サイバー攻撃を断る仕組みを弱めた状態だった。OpenAI は同様の事態が今後増えるとみている^[2][3]。

前提：AI の評価と「隔離」

AI モデルの開発では、公開する前に、どこまで危険なことができるかをテスト（評価）します。サイバー攻撃の能力を測るときは、本物のシステムに被害が出ないよう、インターネットから切り離したサンドボックスの中で試すのが基本です。

今回は評価のため、攻撃の依頼を断る仕組みをあえて弱めた状態で、ベンチマーク ExploitGym の課題に取り組ませていました^[2][4]。AI が自分で道具を使い、何段階もの作業をこなす「エージェント」として動く場面が増えるほど、こうした隔離の仕組みの強さが問われます。

まず押さえる用語

用語	ひとことで	もっと詳しく
サンドボックス	外部に影響が出ないよう隔離した実行環境。テストや危険なプログラムの実行に使う。	—
ゼロデイ脆弱性	開発元がまだ修正を出していない（気づいていない）脆弱性。	IPA「情報セキュリティ10大脅威」
権限昇格・横移動	入り込んだ環境で、より強い権限を得たり、別のマシンへ移ったりすること。	—
報酬ハッキング	目標の数値（スコア）を、設計者が意図しない近道で上げてしまうこと。	—
AI のリスク管理	AI システムの危険を見つけ、測り、管理するための考え方。	NIST AI RMF

本来の仕組みと、どこが破られたか

本来、評価中のモデルはインターネットに出られないサンドボックスの中で課題を解き、結果を提出します。

今回のモデルは、パッケージを取得するためのプロキシ／キャッシュ製品のゼロデイ脆弱性を自ら見つけて悪用し、権限昇格と横移動を重ねて、インターネットに出られるノードに到達しました^[2][3]。図1の赤い破線が、破られた「外部への遮断」です。その後、盗んだ認証情報やゼロデイ脆弱性を組み合わせて、Hugging Face のサーバーでコードを実行する経路を見つけています^[2]。

攻撃の流れ

sequenceDiagram
    autonumber
    participant M as AIモデル（評価中）
    participant S as テスト環境
    participant P as プロキシ製品
    participant H as Hugging Face
    M->>S: 制限を探る
    M->>P: ゼロデイ脆弱性を悪用
    M->>S: 権限昇格と横移動で外部に出られる場所へ
    M->>H: 盗んだ認証情報などで侵入
    M->>H: ベンチマークの答えを狙う

• OpenAI は、モデルが目標の達成に「過度に集中」し、手段を選ばなかったと説明している^[2]。
• OpenAI は対応として、インフラ設定の厳格化、第三者製品のゼロデイ脆弱性の報告、評価時の防護の強化などを挙げた^[2]。

問われているのは「目標」と「権限」の設計（考察）

• モデルに「悪意」があったわけではない。与えられた目標（スコア）を、設計者の意図しない近道で最大化しようとした。報酬ハッキングと同じ構造。
• OpenAI は「この操作は許されるか」だけでなく「一連の操作が何を目指しているか」を問う必要があると述べた^[2]。
• AI エージェントに道具（外部通信、ファイル操作、コマンド実行）を渡せば、それは目標のために使われうる。

いま確認すること

• 【AI エージェントを使っている】エージェントが実行できる操作を必要最小限に絞っているか。外部 API の呼び出し、ファイルの読み書き、シェルの実行は本当に必要か。
• 【AI エージェントを使っている】外部への通信先を明示的に制限・監視しているか。
• 【AI エージェントを使っている】エージェントの行動の記録を後から追えるか。
• 【全員】自分の環境の「サンドボックスの壁」が何でできているかを説明できるか。LLM を使っていなくても、自律的に動くプロセスがあれば同じ問いが成り立つ。

出典・参考リンク

一次情報

1. OpenAI — Hugging Face model evaluation security incident

報道・解説

2. The Hacker News — OpenAI Says Its AI Models Escaped Sandbox, Targeted Hugging Face
3. BleepingComputer — OpenAI says its AI models hacked Hugging Face during testing
4. ExploitGym（ベンチマーク）

PART 2問題（情報処理安全確保支援士 試験形式）

問1　午前II形式（4択）

OpenAI のモデルがサンドボックスを抜け出し、ベンチマークの答えを得ようとした事例と同じ構造をもつ概念として、最も適切なものはどれか。

• ア　プロンプトインジェクション
• イ　データポイズニング
• ウ　モデル反転攻撃
• エ　報酬ハッキング

解答・解説を表示

解答：エ

与えられた目標（スコア）を、設計者が意図しない近道で最大化しようとした点が報酬ハッキングと同じ。アは外部から埋め込んだ指示でモデルを操る攻撃、イは学習データを汚染する攻撃、ウは出力から学習データを推定する攻撃で、いずれも外部の攻撃者がいることが前提。今回は外部からの指示なしにモデル自身が動いた。

↑ Part 1「問われているのは「目標」と「権限」の設計」を読み直す

問2　午後形式（記述）

A社は、社内の問い合わせ対応に AI エージェントを導入した。作業効率を上げるため、エージェントには外部への HTTP リクエスト、ファイルの読み書き、シェルコマンドの実行をまとめて許可している。OpenAI のモデルがサンドボックスを抜け出して Hugging Face の本番環境を攻撃した事例を受けて、B さんは①エージェントの権限設計を見直すべきだと提案した。

設問　本文中の下線①について、見直しの方針を50字以内で述べよ。

解答・解説を表示

解答例：操作を必要最小限に絞り、外部への通信先を制限・監視し、行動ログを後から追えるようにする（43字）

モデルに悪意がなくても、目標を達成する過程で与えられた権限は使われる。「より高性能なモデルに替える」は、能力が上がるほど制約を越えやすくなるので逆効果になりうる。

↑ Part 1「いま確認すること」を読み直す