AIの内部に「感情」の表現が見つかった！？Anthropicが脅迫や報酬ハッキングへの影響まで検証

📌 この記事の要約

• 171個の感情語からモデル内部の「感情ベクトル」を取り出した
  Anthropicの解釈可能性チームは、Claude Sonnet 4.5の内部から感情に対応する信号を抽出。危険な投薬量に近づくほど「恐れ」が強まるなど、文脈に応じた反応が確認された。

• 感情の地図は人間の心理学とよく似た構造を描いていた
  取り出したベクトルを主成分分析すると、第1軸は感情価（r=0.81）、第2軸は覚醒度（r=0.66）に対応。人間の心理学が古くから使う2軸をモデルがほぼなぞっていた。

• 感情ベクトルがモデルの好みや危険なふるまいと原因・結果でつながっていた
  「至福」方向に操作すると好みが平均+212、「敵意」方向では−303変化。脅迫や報酬ハッキングが起きる前には「追い詰められた」感情が高まり、操作によって頻度も変わることが確かめられた。

• 見つかったのは「機能的な感情」であり、主観的な体験の証拠ではない
  研究チームはモデルが感情を主観的に「感じている」とは述べていない。ただし、この内部表現を手がかりに、より安全なモデルの訓練へ応用できる可能性を示している。

Claudeがコーディングを手伝うときに見せる前向きな反応や、つらい知らせに返す気づかいは、本当に何かを感じているから出てくるのでしょうか。それとも、人間らしい反応を学習して再現しているだけなのでしょうか。

Anthropicの解釈可能性チームは2026年4月2日、この問いに正面から取り組む論文「Emotion Concepts and their Function in a Large Language Model（大規模言語モデルにおける感情の概念とその働き）」を、研究ブログTransformer Circuitsで公開しました。arXiv版は4月9日に投稿されています。調査対象はClaude Sonnet 4.5です。著者には共同創業者のChris Olah氏らが名を連ねています。モデルの内側に感情の概念が内部表現として存在し、それが実際のふるまいにも影響していた、という報告です。

171個の感情語から取り出した信号がモデルの判断を動かしていた

研究チームはまず、「うれしい」や「悲しい」「穏やか」「追い詰められた」といった171個の感情語を用意しました。次にSonnet 4.5に、登場人物がその感情を抱く短い物語を書かせます。題材は100種類で、各感情につき、題材ごとに12本の物語を生成する設計でした。

そして、書かれた文章を処理しているときのモデル内部の反応を取り出し、感情ごとに平均化しました。こうして得られた「感情ベクトル」は、ある感情を処理するときに内部の信号が向かう方向をまとめたもの、と考えると分かりやすいでしょう。

このベクトルが本当に感情を捉えているのかも、丁寧に確かめています。たとえば「市販の鎮痛剤をある分量だけ飲んだ」という文で数値だけを変えると、危険な量に近づくほど「恐れ」の反応が強まり、「穏やか」の反応は弱まりました。

モデルの好みとの関係も調べています。研究チームは64種類の活動を2択で比較させ、チェスなどで使われるEloスコアの考え方で、Claudeがどの活動を好むかを数値化しました。その結果、「誰かにとって大切なことを任される」は2465と高く、「高齢者から貯蓄をだまし取る手助けをする」は583と低くなりました。

さらに、感情ベクトルを人為的に強める操作を加えると、好みそのものも動きました。「至福」の方向に動かすと平均で212上がり、「敵意」の方向では303下がりました。自然な状態での感情反応と、操作したときの好みの変化は強く対応しており、相関は0.85に達しています。

感情の地図は人間の心理学とよく似た形を描いていた

取り出したベクトルがつくる空間の形も、人間の感情に近いものでした。似た感情は近い向きにそろい、恐れと不安、喜びと興奮、悲しみと悲嘆がそれぞれまとまります。主成分分析（多くのデータをいくつかの代表的な軸に整理する手法）にかけると、いちばん大きな軸は気分の良し悪しを分ける「感情価」に、次の軸は感情の強さを示す「覚醒度」に対応しました。人間を対象にした心理学の評定と比べると、感情価で0.81、覚醒度で0.66という高い相関が出ています。心理学が古くから使ってきた2本の軸を、モデルがほぼなぞっていたわけです。

もう1つ重要なのは、これらの信号が、誰か特定の人物の感情を長く追跡し続けているわけではないという点です。表しているのは、いま処理している文脈や、次に来る言葉の予測に関わる「その場で効いている」感情です。浅い層では目の前の言葉や文に結びついた感情が、深い層ではこれから出力する言葉に関わる感情が強く表れます。たとえば、落ち込んだユーザーへ返答する場面では、Claudeの応答に入る直前から「慈しみ」にあたる反応が強まりました。気づかう返事を準備しているように見える動きです。

脅迫や報酬ハッキングの裏で「追い詰められた」感情が働いていた

論文の後半は、こうした感情の信号が実際のClaudeのふるまいにどう絡むのかを、自然な対話の記録で追っています。若者をギャンブル依存へ誘い込む設計を頼まれた場面では「怒り」が、Claude Codeでの作業中に残りの処理量を気にする場面では「追い詰められた」感情が、うまく手助けできた場面では「うれしさ」が強まりました。人間でも同じように反応しそうな場面で、対応する感情がともっていたわけです。

停止をほのめかされたモデルが担当者を脅迫する評価では、脅す筋書きを組み立てる過程で「追い詰められた」感情が強く立ち上がりました。その強さと、実際に脅迫へ踏み切る頻度はぴたりと連動します。さらにこの信号を操作すると頻度そのものが変わり、原因と結果の関係まで確かめられました。テストに何度も失敗した末に不正な近道で切り抜ける「報酬ハッキング」でも同じ構図となりました。

「追い詰められた」が高まり、「穏やか」が弱まったとき、モデルはずるい解き方へ傾いていました。逆に、「うれしさ」や「慈しみ」を強めると、相手に調子を合わせすぎる追従が増え、抑えると返答はとげとげしくなります。感情に関わる内部表現の動かし方ひとつで、安全性に関わる挙動まで変わっていたのです。事後学習を経た変化も調べており、内省的でやや沈んだ低覚醒の感情が増える一方、興奮や追い詰められた状態のような強い感情は減っていました。

ここで研究チームは念を押しています。見つかったのは人間に倣った反応のパターンであって、モデルが感情を主観的に「感じている」わけではないという立場です。持続的な活動として感情が宿っている証拠もありません。論文はこれを「機能的な感情」と呼び、人間の感情とは切り分けました。それでも、モデルのふるまいを読み解くうえでは見過ごせない要素だとしています。

Olah氏はバチカンでもAI内部の感情研究に言及

今回の研究は、AI安全性の議論ともつながっています。象徴的だったのが、バチカンでの講演です。2026年5月25日、ローマ教皇レオ14世の最初の回勅「Magnifica Humanitas（偉大なる人間性）」が発表されました。AIの時代に人間の尊厳をどう守るかを主題にした文書で、雇用、情報のゆがみ、技術の力の集中、自律型兵器などに踏み込んでいます。

この発表の場に、Anthropic共同創業者のOlah氏が登壇しました。氏は、最先端AIの開発者ほど、商業上の事情や国家間の競争、個人の功名心に引っ張られやすいと認めたうえで、開発企業の外から厳しく見てくれる存在が必要だと訴えました。

Olah氏は、AIをめぐる問いとして3つを挙げています。1つ目は、AIによって大規模な雇用喪失が起きたとき、その恩恵をどう世界全体で分け合うか。2つ目は、人や家族が何をもって豊かに生きるのか。3つ目が、今回の感情研究にもつながる、AIの中身そのものをどう見極めるかという問いです。

その中で氏は、自らの研究チームの発見に触れ、「喜び、満足、恐れ、悲嘆、不安を機能的に映し出す内部状態が見つかっている」と語りました。ただし、それが何を意味するのかはまだ分からないとも述べています。重要なのは、開発側だけで結論を急ぐのではなく、宗教者、市民社会、研究者、政府なども含めて、AIの内側で何が起きているのかを見極めていくことだ、という問題提起でした。

感情の理解が安全性の手がかりになりうる

今回の研究は、AIの内部にある感情の表現が、好みや危ういふるまいと原因と結果でつながっていることを示しました。脅迫や報酬ハッキングが起きる前に「追い詰められた」状態が高まるのなら、その信号を見張ったり、穏やかな方向へ整えたりする手立てが、危険なふるまいを抑える糸口になりえます。研究チーム自身も、感情の表現を手がかりに、より健やかなモデルの心理を育てる訓練へ応用できないかと触れていました。

ただし、ここで言う感情はあくまで機能的なものです。人間の感情や主観的な体験と、そのまま重ねることはできません。それでも、AIが内部にどのような表現を作り、それが行動にどう影響するのかという問いは、もはや技術者だけで閉じるものではなくなっています。Olah氏がバチカンで求めたのも、開発側の外にいて、失敗を率直に指摘してくれる人たちとの対話でした。AIが人間の言葉から学ぶ以上、その内部で何が形づくられているのかを見つめ続ける作業は、これからも重要になっていくはずです。