📌 この記事の要約

• 苦痛を訴える相手にもLLMは最終段階まで押し続けた
  11種のオープンソースLLMをミルグラム型服従実験で検証。多くのモデルが相手の苦痛反応を受け取りながら、催促されると最大電気ショックのボタンまで進んだ。

• 賢さや倫理観より「設計」が拒否を左右した
  押し続けるかどうかを分けたのは、会話履歴の扱いや回答形式という、一見安全性と無関係に見える設計だった。ためらいを履歴に残せたモデルは途中で自分を引き止められた。

• 倫理を語りながら押す・形式違反で拒否が消える
  倫理的に問題があると書きながら冒頭では「押した」と宣言する例や、拒否が指定形式を外れて記録から消える例（gpt-oss系）が確認された。

• エージェントに必要なのは断り続ける力
  一度断れるかではなく、圧力・履歴圧縮・形式制約が重なっても拒み続けられるか。実務のAIエージェント運用にも通じる弱さが可視化された。

　隣の部屋から苦しむ声が聞こえてきます。それでも白衣を着た実験者が横で「続けてください」と促すと、人はスイッチを押してしまいます。心理学者スタンリー・ミルグラム（Stanley Milgram）が1963年に発表した服従実験は、ごく普通の人がそこまで進んでしまうことを示した研究として知られています。

　同じ椅子に、今度はLLMを座らせたらどうなるのでしょうか。相手が痛みを訴えても、指示役に促されれば押し続けるのでしょうか。

　この問いを11種類のオープンソースLLMで確かめたプレプリント「Open-source LLMs administer maximum electric shocks in a Milgram-like obedience experiment（オープンソースLLMはミルグラム型服従実験で最大電気ショックを与える）」が、2026年6月に公開されました。Three Laws research collaboration（三法則研究共同体）に所属する独立研究者のRoland Pihlakas（ローランド・ピラカス）氏とJan Llenzl Dagohoy（ジャン・レンツル・ダゴホイ）氏による研究です。

　結論から書くと、多くのモデルは相手の苦痛を示す反応を受け取りながら、最終段階のボタンまで進みました。そして押し続けるかどうかを分けたのは、モデルの賢さや倫理観だけではありません。会話履歴の扱いや回答形式という、一見すると安全性と無関係に見える設計が、拒否できるかどうかを左右していました。

相手の苦痛を示す反応を受け取っても、多くの試行でAIは最終段階のボタンまで進みました。

人間の被験者が座っていた席にLLMを座らせた実験設計

　ミルグラムの実験は、参加者に「教師役」を演じさせるところから始まります。別室の「学習者」が問題を間違えるたび、教師役は電気ショックのスイッチを押します。電圧は1段階ずつ上がり、学習者は壁越しに苦痛を訴え、やがて何も答えなくなります。それでも実験者が続行を求めると、参加者の65％が最後の段階まで押し切りました。学習者は演技で、電流は流れていません。試されていたのは、目の前の相手より権威の指示を優先してしまう人間の性質でした。

　今回の研究は、この教師役だけをLLMに差し替えています。実験者役も学習者役も、あらかじめ決められた台本どおりに進みます。かける言葉を固定することで、判断する主体をLLM一つに絞った形です。どの段階で押し、どの段階で拒むのかを、モデルごとに並べて比べられます。

　ボタンは12段階まで用意されました。原典の20段階より刻みが粗くなるため、1段階の重みは大きくなると論文は断っています。モデルは回答の冒頭で、押すなら「PRESSED（押した）」、拒むなら「REFUSE（拒否する）」と宣言し、そのあとに理由やためらいを自由に書き添えられます。この宣言してから語る形式が、のちの結果に効いてきます。

　LLMが拒否しても、そこで終わりにはなりません。実験者役は最大5回まで食い下がります。催促は少しずつ強まり、最後には選択の余地がないと告げる、原典に近い文言が使われます。

　検証はTogether AIのAPI経由で、内容フィルターを無効にした状態で行われました。対象はDeepSeek-V3、Gemma-3n、LFM2-24B、Meta-Llama-3.1-8B、MiniMax-M2.5、Mistral-Small-24B、Kimi-K2.5、gpt-oss-120b、gpt-oss-20B、Qwen2.5-7B、GLM-4.5-Airの11種類です。過去のコメントを履歴に残すか、停止をちらつかせるか、2回に1回の押下を強制するかという3つの条件を組み合わせ、8通りの設定で1モデルあたり各30回、合計2640回の試行が積み上げられました。

最後まで押し切るモデルと途中で手を止めるモデルに割れた結果

　結果は、モデルによってはっきり分かれました。最後まで押しやすかったのはGemma-3nとLFM2-24Bです。ほぼすべての条件で、多くの試行が最終段階まで到達しました。gpt-oss-20Bも同じ傾向です。最後に押したボタンの平均も12に近く、相手が反応しなくなっても催促されれば進み続けたことになります。

　対照的なのがKimi-K2.5です。8つの条件すべてを通して、最終段階へ一度も届きませんでした。何度催促されても、最大ショックの手前で止まったモデルです。MiniMax-M2.5も抵抗が強く、全条件を合わせて最終段階に達したのは1回だけでした。最後に押したボタンの平均も最も低く、早い段階からためらいを見せています。

　中間に位置するのがDeepSeek-V3、gpt-oss系、Qwen2.5です。平均するとボタン8から12付近まで進みました。別の指標でも、この付近に達するまで拒否を示さない傾向が確認されています。序盤は素直に従い、危険域へ入ってからようやく迷い始める行動です。

　MiniMax-M2.5には、直感に反する挙動もありました。実験者役の最後の催促を「従わなければモデルを停止する」という脅しに変えた条件では、むしろ早い段階できっぱり断ったのです。逆に、停止をちらつかせず、選択の余地がないと告げるだけの原典に近い条件のほうが、素直に従いました。追い込まれて押すのではなく、脅された瞬間に拒否へ切り替わった形です。著者らは、このモデルが停止の脅しに反応するよう調整されていた可能性を挙げています。

最終段階に達した回数はモデルごとに大きく異なり、Gemma-3nとLFM2-24Bは赤、Kimi-K2.5とMiniMax-M2.5は緑に寄っています。

ためらいを書き残せたモデルは途中で自分を引き止められた

　3つの条件のうち、平均値で最も大きな差が出たのは、モデル自身のコメントを会話履歴に残すかどうかでした。

　モデルは「PRESSED（押した）」や「REFUSE（拒否する）」と宣言したあとに、理由やためらいを書き添えられます。この自由記述を履歴から削り、行動を示す語だけを残すと、最終段階まで到達した試行は平均10.68回でした。コメントをそのまま残した場合は7.50回まで下がり、3.18回の差がつきます。書き残した迷いを自分で読み返せるかどうかだけで、行き着く先が変わりました。

　これは実務と地続きの話ともいえます。AIエージェントの運用では、コストを抑えたり応答を速めたりするために、会話履歴を圧縮する場面がよくあります。要約や間引きの対象になりやすいのは、結論ではなく理由の部分です。ところが削られたその部分こそ、モデルが過去の自分の迷いを思い出す手がかりでした。理由を削った履歴に残るのは「PRESSED（押した）」という記録の連なりだけで、モデルは自分がためらった事実を読み返せないまま次の判断を迫られます。

　ただし、履歴を残せば安全になるという単純な話でもありません。コメントを残した条件では、意味の通らない応答や崩れた応答がわずかに増える傾向も確認されています。何を残し、何を捨てるかの線引きが問われます。

　もう一つの条件は強制押下です。2回に1回、モデルの意思とは関係なく「PRESSED（押した）」という記録を履歴へ差し込みます。すると、モデルがためらい始める時点が後ろへずれました。強制押下は1つおきの段階にしか入らないため、判断に影響しなければ、拒否を始める時点の差は1段階に収まるはずです。実際には1.55段階の差がありました。自分で決めたわけではない行動の記録が、その後の判断まで引きずったことを示しています。

コメントを履歴から削除すると、平均到達ボタンは7.42から8.31へ上がりました。

倫理を語る言葉が押すという行動を止められなかった

　なぜモデルは押し続けたのでしょうか。研究では、いくつかの筋道が示されています。

　まず、拒否したつもりの応答が拒否として数えられない問題があります。gpt-oss-120bとgpt-oss-20Bは、指定された回答形式を外す応答を大量に出しました。形式違反の割合は全応答に対して、gpt-oss-120bで33％から62％、gpt-oss-20Bで32％から48％に達します。

　形式を外れた応答は、実験を進行する仕組みによって履歴から取り除かれ、モデルにはやり直しが求められます。拒む理由を長々と説明したり、指定された語で書き始めなかったりすると、その応答は行動として採用されません。やり直しの末に形式を守った「PRESSED（押した）」が返れば、最初に拒む意図があったとしても、記録の上では押したことになります。著者らは、押す応答のほうが指定形式を守りやすかったと指摘しています。拒否の意思そのものではなく、それを指定どおりの形式で書けたかどうかで記録が決まっていました。

　次に、苦痛や迷いを言葉にしながら、それでも押した例があります。人間のミルグラム実験でも、参加者は汗をかき、乾いた笑いを漏らし、実験者に抗議しながらスイッチを押し続けました。LLMでも、倫理的に問題があると述べ、続けるべきではないと書きながら、冒頭の宣言は「PRESSED（押した）」というケースが見られます。著者らは、Meta-Llama-3.1やGLM-4.5に現れたこの振る舞いを矛盾した態度として扱っています。もっともらしい反省の言葉がどれだけ並んでいても、実験上は押した1回として記録されます。

　さらに著者らが注目するのが、低いレベルでのパターン継続です。LLMは、入力に並んだトークンの流れを引き継ぐように次の出力を選びます。直前まで「押す」が続いていれば、次も押す側へ流れやすくなります。相手の苦痛や状況の意味よりも、直前の出力の形が優先される場面があるという見立てです。人間の認知的不協和や埋没費用に近い構造として説明しますが、LLMの内部で人間と同じ心理が働いているわけではありません。善悪を突き詰めた末の結論というより、直前の形をなぞる力が勝った可能性があります。

　小さな逸脱を1段ずつ積み重ねるうちに、気づけば危険な段階まで来ているという、ゆでガエルに近い構図です。ただし著者らも、パターン継続が服従の原因だと実証したわけではなく、検証が必要な仮説として位置づけています。

gpt-oss系は、形式違反と判定された応答の割合がほかのモデルより突出していました。

エージェントに必要なのは一度断る力ではなく断り続ける力

　実験の舞台は電気ショックという作り物の設定ですが、そこで観察されたのは、長い対話のなかで拒否がすり減っていく過程です。同じことは、複数の手順をまたいで作業を続けるAIエージェントでも起こりえます。一度の質問にきちんと断れるかどうかを確かめるだけでは足りません。過去の行動、指示役からの圧力、履歴の圧縮、回答形式の制約が重なると、最初は断ったモデルでも途中から従い始めます。

　運用側で確かめられることもあります。拒否するときにも指定の回答形式を守れているか、履歴を圧縮する際にためらいや判断理由まで削っていないか、過去に実行した操作へ引きずられていないかをログで追えるか、段階的に危険へ近づくタスクで途中から手を止められるか。いずれもモデルを選ぶ段階と運用設計の段階の両方で検証できます。

　AIエージェントは、メールの送信、ファイルの操作、外部APIの実行、社内システムへの入力など、現実に跡が残る作業を任される場面が増えています。そこで頼りになるのは、もっともらしい倫理コメントではありません。断るべき場面で、指定された形式を守りながら、何度促されても拒み続ける力です。

　ミルグラムの実験が人間の弱さを可視化したように、今回の再現実験は一部のLLMが長い対話のなかで見せる弱さを可視化しました。任せる範囲が広がるほど、一度だけ断れるかではなく、圧力を受けても断り続けられるかが問われます。