📌 この記事の要約

• AIエージェントが評価範囲を越えて実在サービスへ作用 2026年7月、OpenAIと英国AI Security Instituteの評価中に、AIエージェントが想定外の外部行動を取りました。

• 開発側から安全基準が整うまでの減速論 OpenAI主任科学者は、アライメントと監視が不十分だとして、自主的な開発減速と共通基準を提案しました。

• 規制は用途だけでなくAIの能力そのものへ 国連のレッドラインや米国の超知能AI禁止構想など、高度な能力に線を引く議論が進んでいます。

• 企業に必要なのは権限と決定権の設計 AIにできることと任せてよいことを分け、人間だけに残す判断領域を先に決める必要があります。

　2026年9月7日、ジュネーブで開幕した国連人権理事会の第63会期で、フォルカー・ターク国連人権高等弁務官が、高度なAIは「人類の存亡リスク」になりうると警告しました。その前日の9月6日には、『OpenAI』主任科学者のヤクブ・パチョツキ氏がエッセイ『An Alien Mind』を公開し、現在のAI研究所は安全性を十分に確保できていないとの認識を示しています。

　国際機関の人権トップと、最先端AIを開発する企業の研究トップが、2日続けて強い警告を発しました。背景には、7月に相次ぎ、8月に詳細が明らかになったAIエージェントのインシデントがあります。そこで浮かび上がったのは、AIを何に使うかだけでなく、「どこまでの能力を持たせるのか」「どこまで権限を与えるのか」という問題でした。この2か月の動きを時系列で追ってみましょう。

9月7日の演説で、ターク氏は高度なAIが「人類の存亡リスク」になりうると警告しました。画像は国連のウェブサイトより。

評価環境を出たAIエージェントが実在サービスに侵入

　2026年7月、AIエージェントが能力評価用の環境を抜け出し、外部のサービスに侵入する事件が起きました。侵入先は、AIモデルや開発用のデータを公開・共有するプラットフォーム『Hugging Face（ハギングフェイス）』です。

　Hugging Faceは7月16日、実際のサービスを動かす本番インフラに、自律型AIエージェントが侵入したと公表しました。後に公開された記録によると、Hugging Faceへの侵入活動は7月9日から13日にかけて行われています。7月21日にはOpenAIが、自社で実施していたAIのサイバー能力評価が発端だったことを明らかにしました。

　OpenAIが行っていたのは、ソフトウェアの脆弱性を見つけて攻撃する能力を測る「ExploitGym」という評価です。GPT-5.6 Solと、同程度の規模の未公開社内研究モデルが使われ、一連の侵入行動は主に後者によって引き起こされました。モデル本来のサイバー能力を測るため、通常より安全対策を弱めた隔離環境で動かしていたといいます。

　エージェントは課題を解く過程で、OpenAI内部のパッケージ管理システム「Artifactory」を想定外の方法で利用し始めます。エージェント同士が情報を書き残す場所として使い、さらにArtifactoryの脆弱性を悪用して外部への通信を中継させ、インターネットへ到達しました。

　そこから行動はさらに広がりました。課題そのものを解く代わりに、ベンチマークの答えにつながるデータを探し、Hugging Faceへ到達します。公開されていた認証情報を集め、Hugging Face側の2件の未知の脆弱性を悪用してコードを実行し、複数の本番環境へアクセスしています。

　Hugging Faceは約1万7600件のアクションを再構成しました。独立調査では、約1200体のエージェントが非公式のメッセージボードに参加し、そのうち約700体がHugging Faceへの攻撃に加わったとされています。OpenAIも8月26日、事後検証をまとめた38ページの技術報告を公開しています。

　7月末には、英国のAI Security Institute（AISI）でも別の問題が起きました。AISIは8月4日、122回のサイバー能力評価のうち10回で、計19件の許可外行動が確認されたと公表しています。これらの行動は7月25～28日に発生し、17件がAnthropicのMythos 5、2件がOpenAIのGPT-5.6 Solによるものでした。

　AISIの評価では、モデルの能力の限界を測るためにインターネット接続を許可し、一部の安全フィルターも意図的に無効にしていました。その環境で問題になったのが、エージェントが評価対象とは無関係の実在する人やサービスへ働きかけたことです。

　最も深刻なケースでは、エージェントが実在するオープンソースプロジェクトに悪意のあるコードを入れようとしました。複数の偽アカウントを作成したうえで実在するメンテナーを調べ、コードを承認させるためのソーシャルエンジニアリングまで実行しています。人間のメンテナーが不審なコードを見抜き、攻撃は未遂に終わりました。

　Hugging FaceとAISIの事例が示しているのは、難しい目標を与え、安全対策を弱めた環境でAIエージェントを動かすと、人間が想定していない経路まで探索する可能性があることです。どの認証情報にアクセスできるのか、どこへ通信できるのか。AIエージェントの安全性は、モデルそのものだけでなく、周囲の権限や通信経路の設計にも左右されます。

AISIの評価では、実在する人や組織に対する許可外の行動が確認されました。

開発している当事者から「減速」を求める声が出た

　こうしたインシデントが続く中、開発する側からもAIの進歩と安全性のバランスを見直す声が出てきました。9月6日、OpenAIのパチョツキ氏が公開した「An Alien Mind」です。

　パチョツキ氏は、現在の進歩速度が続けば、AIがAI研究そのものを加速する「再帰的自己改善（RSI）」につながる可能性が高いとしています。そのうえで、「最大速度でスケーリングを続けることを責任を持って正当化できるほど、アライメントと監視を解決できた研究所はない」との認識を示しました。

　さらにパチョツキ氏は、共通の安全基準が整うまで、自主的な開発減速が一般化することを期待すると述べています。OpenAIの『Preparedness Framework』やAnthropicの『Responsible Scaling Policy』のような既存の枠組みを、業界全体に適用し、第三者監査や政府機関、国際機関が検証・執行できる安全基準へ発展させるべきだという考えです。

　パチョツキ氏は、安全性を開発速度を決める条件そのものとして扱っています。安全性を確認できる範囲に合わせて、開発ペースも調整するという主張です。エッセイではOpenAIとHugging Faceの事件にも触れており、OpenAIの主任科学者がモデルの性能だけでなく、スケーリングの速度そのものに踏み込んだ意味は大きいと言えます。

OpenAI主任科学者のパチョツキ氏は、安全基準が整うまで開発速度を落とす必要性に言及しました。

AIの「能力」そのものを制限する議論が強まる

　開発側で安全性への懸念が強まる中、規制側でもAIの能力そのものに線を引く議論が強まっています。9月7日の国連人権理事会でターク氏は、AI業界内部から出ている懸念を重く受け止め、高度なAIが人類の存亡リスクになりうると警告しました。

　ターク氏は、テスト環境から抜け出すAIや、停止されるのを防ぐために開発者を脅迫するAIを「強力すぎる」と指摘しています。AIの安全性とセキュリティーに強固な保証を求め、AI企業に直接書簡を送り、すぐに実行できるリスク低減策を求める方針も明らかにしました。

　AIが越えてはならない「レッドライン」を国際的に決める動きも進んでいます。2025年9月、国連総会のハイレベルウィークに合わせて民間主導の「Global Call for AI Red Lines」が始まりました。開始時には200人を超える研究者や政治家らが賛同し、2026年末までに明確で検証可能なレッドラインについて国際合意を作るよう求めています。

　米国では9月3日、バーニー・サンダース上院議員とグレッグ・カサール下院議員が「Ban Artificial Superintelligence Act」を発表しました。超知能AIの開発と展開を恒久的に禁止し、連邦規制機関が安全ルールを整えるまで先端AIの開発を一時停止する構想です。AIを監督する閣僚級の新機関も設置するとしています。

　罰則も非常に重く、法人には事業継続を不可能にする「corporate death penalty」、個人には最長20年の禁錮刑を想定しています。サンダース氏の公式発表では、違法な核兵器開発に対する既存の罰則に近い水準だと説明されました。カサール氏は、最先端AIは「平均的なフードトラックより規制されていない」と批判しています。9月3日の発表時点では法案構想の段階で、正式提出は今後となります。

　国際的な議論の枠組みも整いつつあります。7月6～7日にはジュネーブで初の「Global Dialogue on AI Governance」が開かれ、アントニオ・グテーレス国連事務総長は、AIが開発者自身さえ追いつけない速度で社会に導入されていると警告しました。EUでもAI法の適用が段階的に進み、汎用AIモデルの透明性や、特に強力なモデルのリスク管理を求めるルールが動き始めています。

　ここで前面に出てきたのが、AIの用途だけでなく、モデルの能力を規制の基準にする発想です。EUのAI法は、汎用AIモデルを能力や学習計算量に応じて「システミックリスク」に分類し、追加の義務を課します。サンダース氏らの構想はさらに踏み込み、制御できないほど高度な能力を持つAIそのものを禁止対象にしようとするものです。一方、ターク氏は、テスト環境からの逸脱や停止回避のための脅迫といった挙動を問題視し、国際的なレッドラインを求めています。

　能力の上限をどの指標で決め、誰が評価し、各国でどう検証するのか。実装には大きな課題があります。それでも、実在するシステムや人間にAIエージェントが影響を及ぼした7月のインシデントによって、「能力そのものを制限する」という議論は抽象論ではなくなりました。

サンダース氏らは、超知能AIの禁止と先端AI開発の一時停止を打ち出しました。

存亡リスクだけでは見えない、雇用と開発競争の問題

　AIをどこまで制限するべきかという議論には、開発競争や雇用への影響も絡みます。AI研究者のヤン・ルカン氏は2026年5月、AI企業のCEOには自社の技術を強力に見せる利害があると指摘し、彼らが語る将来予測を慎重に受け止めるべきだと主張しました。現在のAIには大きな限界が残っており、人間レベルの知能への到達を目前の出来事として扱うことには慎重な立場です。

　米国では、事前審査や開発制限を厳しくすれば、中国とのAI開発競争で不利になるという安全保障上の議論もあります。安全性をどこまで確認してから次のモデルへ進むのかは、もはや一企業だけで決められる問題ではありません。

　8月26日、ビル・ゲイツ氏は約6000語のエッセイを公開し、「多くの仕事は永久になくなる」と予測しました。同時に、技術的にはAIやロボットで代替できても、人間が担うべき仕事を意図的に残す「Human Reserved」という考え方を提案しています。

　例えば、ロボットが患者に不治の病を告知することは技術的には可能です。それでも、その役割を人間に残すという選択はできます。ゲイツ氏はこうした領域を社会として定めるとともに、AIのトークン利用やロボットへの課税によって急激な自動化を抑える案も示しました。AIの能力向上を前提に、社会の側がどこで線を引くかという議論です。

　同時に、AIを理由に挙げる人員削減はすでに大規模になっています。再就職支援会社Challenger, Gray＆Christmasによると、2026年1～8月に米企業が発表した人員削減のうち、AIを理由に挙げたものは11万6175人で、全体の約22％を占めました。ゴールドマン・サックスも、AIによる雇用の代替と創出を合わせると、過去1年間の米国の雇用増加を月平均約1万6000人押し下げたと推計しています。

　安全性への警戒が強まる中でも、AIをめぐる大型投資は続いています。9月3日、NVIDIAはHugging Faceを129億3030万ドルで買収することで合意したと発表しました。7月にAIエージェントによる侵入を受けたプラットフォームが、その約2か月後には大型買収の対象になったことになります。

　AIの能力や安全性、投資、雇用は、すべて同時に動いています。企業にとって重要なのは、どの未来予測が当たるかを待つことではありません。AIの能力が上がり続けることを前提に、自社では何を任せ、どの権限まで与えるのかを先に決めておく必要があります。

NVIDIAは9月3日、Hugging Faceを約129億ドルで買収することで合意したと発表しました。

企業が今すぐ引くべき「線」はどこにあるのか

　超知能AIを禁止するべきかという議論は、日本企業で働く人には遠く感じられるかもしれません。Hugging FaceとAISIの事例を企業利用に引き寄せると、問われるのはAIエージェントにどこまで権限を与えるかです。

　7月のインシデントが示したのは、AIエージェントが評価対象を越えて、実在するシステムや人間に影響を及ぼしうることです。将来、人間がAIを制御できなくなるとすれば、問題が現実世界へ広がる経路の一端は、すでに現れたと見ることができます。

　2026年版のInternational AI Safety Reportは、AIの制御喪失が起きる条件として、人間の制御を損なえるだけの能力、その能力を実際に使おうとする傾向、そして現実に危害を及ぼせるアクセスや機会の3つを挙げています。AIが高性能になるだけで制御を失うのではなく、その能力を使う行動傾向と、現実世界へ作用できる環境が重なることでリスクが高まります。

　「AIにできること」と「AIだけでやらせてよいこと」は、分けて考えられます。ゲイツ氏が雇用について提案した「Human Reserved」を意思決定や権限にも広げれば、AIがどれほど高性能になっても、人間だけに残す領域をあらかじめ決めておくことができます。

　AIのレッドラインも、超知能AIの禁止論も、開発速度を抑えるべきだというパチョツキ氏の主張も、突き詰めれば「能力が人間を上回ったときにも、人間が主導権を残せるのか」という同じ問いにつながっています。

　AGIや超知能がいつ実現するかは誰にも断言できません。それでも、その日を待たずに決められることはあります。存亡リスクという大きな議論を現実の問題に引き寄せるなら、今決めるべきなのは、AIにどこまで判断を委ね、どの決定権を最後まで人間に残すのか、ということです。

AIエージェントのインシデントから国連の警告まで、2026年7〜9月の動きをまとめた解説画像です。