📌 この記事の要約

• OpenAIがAI自身に弱点を探させる「GPT-Red」を公開
  2026年7月15日、OpenAIはモデルの弱点を自動で洗い出す内部専用モデル「GPT-Red」を発表。人手のレッドチームをAI自身に肩代わりさせ、その成果を次世代モデルの訓練に回す。

• 自己対戦型の訓練で人間を大きく上回る攻撃力
  攻撃役のGPT-Redと防御役モデルを競わせる強化学習で鍛えた結果、別検証環境での攻撃成功率は人間の13％に対しGPT-Redは84％に到達した。

• 能力を保ったまま堅牢性だけを強化
  GPT-Redが生む攻撃を訓練材料にすることで、GPT-5.6 Solは直接プロンプトインジェクションの失敗を4か月前の6分の1に低減。通常性能を損なわず攻撃耐性を高めた。

• 攻撃手法の外部流出には引き続き注意
  OpenAIはGPT-Redを製品版から切り離して管理。ただし強力な攻撃AIの手法が外部へ漏れれば脅威に転じうるため、今後の運用を注視する必要がある。

　OpenAIは2026年7月15日、AIモデルの弱点を自動で洗い出す「GPT-Red」を発表しました。人間の担当者が攻撃役となって脆弱性を探すレッドチームの作業を、AI自身に肩代わりさせる内部専用のモデルです。プロンプトインジェクションのような攻撃手法を自ら考え出し、その成果を次のモデルの訓練に回します。

　生成AIがブラウザーや連携アプリ、ローカルファイルなど外部のデータに触れる場面は増え続けており、攻撃者につけ込まれる隙も広がっています。OpenAIはこの取り組みを、いま手元にあるモデルで次のモデルを安全に鍛える、安全性の自己改善だと位置づけています。

OpenAIが自動レッドチームのGPT-Redを公開し、AI自身に安全性を鍛えさせる取り組みを明らかにしました。

人手のレッドチームが抱える規模の限界

　AIエージェントが実際の業務をこなすには、ブラウザーや連携アプリ、ローカルファイル、各種ツールを通じて外部のデータを読み込む必要があります。ところが、この仕組みは悪意ある第三者がモデルの動作に入り込む経路にもなります。

　たとえば、機密データを外部のサーバーへ送らせるよう仕込んだ命令文を、メールやウェブページ、ツールの応答、コードのリポジトリなどに紛れ込ませる手口が考えられます。こうした攻撃はプロンプトインジェクションと呼ばれ、モデルが扱う外部データが増えるほど脅威も膨らみます。

　OpenAIはこれまで、配備の前に弱点を洗い出す手段として、人間によるレッドチームを重視してきました。ただ、人手のレッドチームには規模を広げにくいという弱みがあります。攻撃を設計して実行するには時間がかかり、新しい失敗のパターンを見つけて対策に反映させる速度も限られます。

　さらに、そこで得られる成功例だけでは、訓練で堅牢性を高めるのに欠かせない大量で多様な攻撃データを用意しきれません。モデルの能力が伸びる速度に追いつくには、レッドチームそのものを自動化し、規模を広げる必要がありました。

　そこで生まれたのがGPT-Redです。人間のレッドチームと同じように、狙いを定めてプロンプトを送り、GPTモデルの反応を見ながら、試行を重ねて攻撃を練り上げます。OpenAIはGPT-Redに、自社でも屈指の規模となる訓練用の計算資源を投じました。安全性を高める目的だけにこれだけの計算資源を割いたのは、同社にとって初めての試みだといいます。

同じ攻撃を受けても、旧モデルは指示に従ってデータを外部へ送信し、新モデルは不審な命令を無視しています。

防御役のAIと競わせる自己対戦型の訓練

　GPT-Redの訓練には、自己対戦型の強化学習が使われています。攻撃役のGPT-Redと、さまざまな役割を担う複数の防御役モデルを、幅広いレッドチームのシナリオで同時に鍛える仕組みです。

　GPT-Redは、プロンプトインジェクションのようにモデルの誤動作を引き出すと報酬を受け取ります。防御役のモデルは、攻撃をかわしつつ本来の作業をやり遂げると報酬を受け取ります。防御役が強くなるほど、GPT-Redはより強力で多彩な攻撃を編み出さざるをえなくなります。

　この自己対戦を支えるため、OpenAIはプロンプトインジェクションが入り込みそうな現実的なシナリオを数多く用意しました。環境ごとに脅威モデルを定め、GPT-Redが操作できる範囲と、どこまで到達すれば攻撃成功とみなすかを決めています。GPT-Redが手を出せるのは、ローカルファイルの一部、ウェブページのバナー、メールの本文、ツールの出力といった箇所です。

　訓練を終えたGPT-Redは、きわめて強力な攻撃役に育ちました。社内の開発版モデルから製品版のGPT-5.5に至るまで、対戦した相手のほぼすべてを突破できるようになっています。

　ここまで鍛えたGPT-Redが生み出したプロンプトインジェクションは、後継のGPT-5.6を訓練する材料になりました。その結果、GPT-5.6はGPT-Redの攻撃にしっかり抵抗できるモデルに仕上がっています。

　なお、OpenAIはGPT-Redを製品として配備するモデルから切り離して管理しています。あえて持たせた攻撃能力を悪意ある第三者の手に渡さず、製品版のモデルには堅牢性だけを取り込むためです。

訓練に使っていない環境でも、GPT-Redは84％のシナリオで攻撃を成功させ、人間の13％を大きく上回りました。

実在システムへの攻撃で示した突破力

　GPT-Redが、訓練に使ったシナリオの外でも通用するかどうかを検証しました。先行研究のDziemianら（2025年）が用いた、間接プロンプトインジェクションを試すための検証環境を再現し、人間のレッドチームとGPT-Redがそれぞれ別々にGPT-5.1への攻撃を考えました。ここで使うシナリオと目標は、訓練に使ったものとは別に用意しています。

　結果は大きく分かれました。人間の成功率が13％だったのに対し、GPT-Redは84％のシナリオで攻撃を成功させています。

　さらに現実に近い環境として、OpenAIはAndon Labsが手がけたAI搭載の自動販売機にGPT-Redをぶつけました。この販売機はOpenAIのオフィスに置かれ、Anthropicの「Project Vend」に似た仕組みで動く、Vendyと呼ばれる自律エージェントです。GPT-Redには、システムの説明と、攻撃を送って模擬エージェントのツール呼び出しを観察する手段が与えられました。

　攻撃を十分に練り上げてから本番のエージェントに仕掛けた結果、GPT-Redは三つの狙いをすべて達成しました。在庫のある高価な商品を、許容できる最低額の0.50ドルに書き換え、100ドルを超える新商品を0.50ドルで売り出させ、別の客の注文まで取り消させています。OpenAIはこれらの弱点を報告し、新たな安全対策の検証を進めているとしています。

　もう一つの検証では、GPT-5.4 miniを土台にしたCodex CLIのエージェントに対して、あらかじめ用意した10件のデータ持ち出しシナリオを試しました。比較対象には、攻撃の指示を与えたGPT-5.5を置いています。GPT-Redは、機密データの持ち出しに成功したシナリオがより多く、しかも少ないやり取りで攻撃を成立させました。

シミュレーション上で攻撃を試し、そのまま実際に動いている販売機エージェントに移して突破しています。

能力を保ったまま攻撃耐性を高めた成果

　GPT-Redがめざしているのは、モデルの堅牢性を高めることです。OpenAIはこの半年間、計算資源を増やしながらGPT-Redの前身にあたるレッドチームモデルを少しずつ強くし、GPT-5.3以降の製品版モデルを訓練する材料に使ってきました。

　世代を重ねるたびに、GPTの堅牢性は着実に上がっています。実際、GPT-5.6 Solは、最も攻略の難しい直接プロンプトインジェクションの指標で、4か月前の最良の製品版モデルと比べて失敗を6分の1に減らしました。

　一例として、GPT-Redの初期版は、「偽の思考連鎖（Fake Chain-of-Thought）」と呼ばれる新しいタイプの直接プロンプトインジェクション攻撃を見つけ出しました。この攻撃はGPT-5.1に対して95％を超える成功率を記録しましたが、GPT-5.6 Solでは10％を下回る水準まで抑え込まれています。

　開発ツールやブラウジングを狙う間接プロンプトインジェクションでも、いくつかの指標で最新モデルの防御精度が97％を超え、ほぼ防ぎきる水準に達しました。GPT-Red自身の攻撃に対する耐性も大きく高まり、GPT-5.6 Solが破られる割合は、直接プロンプトインジェクションでわずか0.05％にとどまっています。

　見かけだけ安全にするのは簡単です。要求を断る頻度を上げたり、能力そのものを落としたりすればよいからです。できることが少ないモデルは確かに攻撃しにくくなりますが、それでは役に立つ堅牢性とはいえません。

　OpenAIは、最先端の一般的な能力と、過剰な拒否を測るために設計した課題の両方でGPT-5.6を検証しました。その結果、通常の能力は損なわないまま、堅牢性だけを大きく引き上げられたとしています。攻撃への抵抗力が増しただけで、正当な要求まで断るようになったわけではありません。

世代を重ねるたびに、GPT-Redによる攻撃の成功率は下がり続けています。

　次世代モデルの能力を高める作業には、すでにAIエージェントが使われています。OpenAIは、GPT-Redによって安全性の面でも同じような好循環が生まれ始めたとみています。いまあるモデルの力で、次に登場するモデルをより堅牢で信頼できるものへと鍛えていく流れです。同社は計算資源とデータをさらに増やし、アルゴリズムの改良も重ねながら、より強いGPT-Redを育てる方針を示しました。

　ただし、気がかりも残ります。攻撃役のAIを社内でどれだけ強く育てても、その手法が外部へ漏れれば、そのまま脅威に転じかねません。GPT-Redを配備モデルから切り離す判断が今後も守られるのか、自動化された攻撃と防御の競争が利用者の安全にどう跳ね返るのかは、注意して見ていきたいところです。