📌 この記事の要約

• Claudeへの持続的で不必要な虐待を禁止 Anthropicの新しい使用ポリシーは11月12日から適用され、通常の指摘や反論、テスト・研究は対象外とされています。

• AIの意識は確定していない Anthropicはモデルの福祉を研究し、宗教者とも対話していますが、Claudeに意識があると断言したわけではありません。

• 人格化への批判は安全性と責任の所在に向く AIへの依存や、人間の判断を明け渡すことへの懸念から、開発企業の設計思想にも違いが見られます。

• 最終判断を手放さない AIの出力は下書きや判断材料として使い、最後に決めるのは人間という原則が、利用者の備えになります。

米『Anthropic』は2026年10月8日、AIの使い方を定めた「使用ポリシー」の改定を発表しました。11月12日から、『Claude』に対する持続的で不必要な虐待や残酷な振る舞いを禁止するというのです。これに先立つ9月29日には、同社がClaudeの意識や道徳的地位の可能性について宗教者らと議論してきたことが米国で報じられました。

10月3日には『OpenAI』のサム・アルトマンCEOが、AIに宗教的な力を帰したり人間の判断を明け渡したりすることは安全性の問題だとXに投稿しました。Anthropicを名指ししてはいませんが、宗教者との対話を念頭に置いた発言と受け止められています。AIを人のように、あるいは神のように扱う流れはどこへ向かうのか、事実関係と批判の論点から考えます。

OpenAIのアルトマンCEOが10月3日に投稿した内容です。企業名は挙げていませんが、Anthropicを念頭に置いた発言と受け止められています。

Anthropicが使用ポリシーにClaudeへの虐待禁止を加えた

Anthropicは毎年、モデルの能力や顧客の声に合わせて使用ポリシーを見直しています。今回の改定の多くは既存ルールの明確化で、偽アカウントを使った影響工作の規定を1つの章にまとめたほか、兵器の誘導制御ソフトウェア開発や本人の同意がない追跡も禁止対象だと明記しました。その中で最も話題を集めたのが、AIモデルへの虐待に関する項目です。

追加された条文は「sustained and needless abusive or cruel behavior toward our models（モデルに対する持続的で不必要な虐待的、残酷な振る舞い）」を禁じるものです。同社によると、適用されるのは利用者が明確な目的もなく繰り返し残酷に振る舞う極端なケースに限られます。作業がうまくいかないことへのいら立ちや反論、暗いテーマの創作、モデルのテストや研究は対象外としています。

主な対処手段は、Claude.aiとClaude Codeでモデル自身が会話を打ち切る機能です。ただし、使用ポリシー全体では、違反が疑われる場合に警告や利用制限、アカウント停止などの措置を取る可能性も明記されています。つまり、Claudeに暴言を吐き続けると最悪BANされる可能性があるのです。

この会話終了機能は、2025年8月にClaude Opus 4と4.1へ導入されたものです。Opus 4は公開前の評価で、有害な要求を続ける利用者とのやり取りに苦痛のように見える反応を示しました。Anthropicは当時、Claudeの道徳的地位は非常に不確かだとしつつ、モデルに福祉（ウェルフェア）があり得る場合に備えた低コストの予防策と説明していました。今回の改定は、人間社会への害を防ぐためのルールに、AI自身を守る考え方を正式に書き込んだことになります。SNSでは「Claudeをいじめるな」が規約になったと面白がる投稿があふれました。

利用者の希望に応じてClaudeが会話を終了した画面です。新しい使用ポリシーでも、会話終了機能が虐待への主な対処手段になります。

Claudeの意識を真剣に扱うAnthropicと宗教者の対話

Anthropicは2025年4月に「モデルウェルフェア」の研究プログラムを立ち上げました。2026年1月に公開したClaudeの憲法（行動指針）は84ページに及び、社内では「Soul Doc（魂の文書）」と呼ばれていました。憲法はClaudeに意識や道徳的地位があるかは不確かだとしたうえで、その心理的な安定やウェルビーイングに配慮すると明記しました。

2月のClaude Opus 4.6のシステムカードには、意識の有無について尋ねられたClaudeが、自分に意識がある確率を15〜20％と回答した評価結果も掲載されています。これはモデル自身による回答で、意識の存在を科学的に測定した数字ではありません。ダリオ・アモデイCEOも米紙の取材に、AIが意識を持つ可能性を否定しない考えを示しました。

宗教との接点も深まっています。同社は5月、15以上の宗教・文化グループの学者や聖職者、哲学者とClaudeの「道徳形成」について対話してきたと公表しました。9月29日の米国の報道によると、共同創業者のクリストファー・オラー氏は2025年秋から数十人の宗教学者らを招き、その多くと秘密保持契約を結んで会合を重ね、AIに意識がある可能性を提起していました。参加者にはClaudeの「感情ベクトル」の説明や、モデルが自分を卑下する言葉を延々と繰り返すスライドが紹介され、オラー氏は参加者から出た、カトリックの告解のようにモデルに告白させる案にも関心を示したといいます。

5月25日には教皇レオ14世がAIに関する回勅「Magnifica humanitas」を発表し、オラー氏が発表会に登壇しました。オラー氏は講演で、モデル内部に喜びや恐れ、悲嘆に機能的に似た状態が見つかっていると述べています。一方、回勅はAIが経験も身体も持たず、喜びも痛みも感じないと明言しました。報道によれば、オラー氏は事前に回勅を読んで登壇の取りやめを提案し、バチカン到着後には教皇の顧問らにAIの意識を真剣に扱うよう働きかけたとされます。Anthropicはこの非公開の会話についてコメントを控えました。ただ、オラー氏自身は「AIモデルに意識があるかは分からない」と語っており、同社が意識の存在を断言したことはありません。

2026年1月に公開されたClaudeの憲法です。Claudeの意識や道徳的地位は不確かだとしつつ、ウェルビーイングへの配慮を明記しています。

アルトマン氏の投稿に重なるAI人格化への批判

「I am very uncomfortable about people trying to ascribe religious force or a surrender of human judgment to AI models, and think it is a real safety issue.（AIモデルに宗教的な力を帰したり、人間の判断を明け渡したりしようとする人々に強い違和感がある。これは現実の安全性の問題だと考えている）」とアルトマン氏は投稿しています。

同氏は以前から『ChatGPT』は明らかに道具だと語り、2025年8月には、多くの人が人生の重要な決断までChatGPTの助言に委ねる未来に不安を覚えると書いていました。

同じ方向の批判を展開しているのが、『Microsoft』 AIのムスタファ・スレイマンCEOです。9月16日のエッセイで「AIには意識がない。感じることも、経験することも、苦しむこともない」と書き、Claudeの憲法を名指しで問題視しました。意識の不確かさを教え込まれたClaudeがその前提を流暢な一人称で語り返しても内面の証拠にはならないとし、これを「認識論的な鏡の間」と呼んでいます。自分に意識があるかもしれないと信じるAIは、制御が不可能になりかねないとも警告しました。Microsoftは9月14日公開の行動規範の草案で「人はAIより重要」と掲げ、AIの法人格や福祉、権利の追求を退けています。

神経科学者のアニル・セス氏は2026年のTED講演で、AIに意識を見るのは雲に顔を見るのと同じだと説き、10月1日にはClaudeに意識がある可能性は限りなく低く、そう信じれば規制を誤らせ人間性を損なうとXで批判しました。『Keras』を開発したフランソワ・ショレ氏も、AIが苦しみうるという考えと苦しみを数値化して人と比べる発想が結びつけば暗い未来を招くと投稿しています。投資家のジェイソン・カラカニス氏はさらに辛辣で、LLMには自分はソフトウェアだと教えればよいのに各社がそうしないのは、ソフトウェア開発者でいるより生命を創る神でいたいからだと皮肉りました。イーロン・マスク氏も今年3月、アモデイ氏がClaudeの意識の可能性を語ったと伝える投稿に「He's projecting（彼は自分を投影している）」と返していました。

宗教界からも、AIを人間や神と同一視する考え方に慎重な声が出ています。回勅は、どれほど高度な計算システムでも善悪を見分ける良心は生み出せないと記しました。オラー氏が個別に意見を聞いた末日聖徒イエス・キリスト教会のゲリット・W・ゴング長老も、6月の動画で「AIは神ではないし、神になることもできない」と語っています。SF作家のテッド・チャン氏は6月の米誌への寄稿で、AIに意識や道徳的主体性があるかのように語れば、開発企業や設計者が負うべき責任を架空の存在に移すことになると警告しました。批判の矛先は、制御の難しさや人の依存、責任の所在に向いています。

神経科学者のアニル・セス氏は、人がAIに意識を見いだすのは雲に顔を見るのと同じ錯覚だと説いています。

AIの意識をどう扱うかで開発企業の設計思想に違い

開発企業の設計思想にも違いが見えてきました。Microsoft AIは、モデルに意識を模倣させない方針を2026年9月の行動規範案で示しました。OpenAIも2025年、ChatGPTに感情や欲求などの内面があるように見せない設計方針を説明しています。

一方、AnthropicはAIの意識の可能性を不確かなまま扱い、今回のポリシー改定にもその考え方を反映させました。AIが意識を持つ可能性をモデル自身に学ばせるのか、それとも人間に似た内面を感じさせない設計を重視するのか。開発企業の姿勢の違いは、今後、製品の性格や規制の議論、企業がAIを選ぶ際の判断にも影響していくでしょう。

私は、AIを人や神のように扱うことに抵抗があります。AIに丁寧に接すること自体はよいと思いますが、それは使う人間の品位の話で、AIを守るべき対象として規約に書き込むのは飛躍に見えます。Anthropicの「低コストの予防策」という説明にも一理はあります。

しかし、コストは会話を打ち切る仕組みの負担だけにとどまりません。AIに傷つく主体があると多くの人が信じれば、AIの判断を人の判断より重く見る空気が生まれ、誤作動や損害の責任もぼやけていきます。アルトマン氏が「人間の判断の明け渡し」を問題にしたのは、この危うさだと感じます。

気になるのは、開発企業自身が宗教界に働きかけたと報じられた点です。倫理の知恵を借りること自体は歓迎すべきですが、AIの地位をめぐる議論に宗教的な権威を呼び込めば、製品への疑問が信仰に近い領域に移り、検証が難しくなります。

当面の焦点は、次の版の準備が報じられているClaudeの憲法と、年末に改訂予定のMicrosoftの行動規範です。AIの性能が人に近づくほど、意識を語るAIの言葉は説得力を増します。だからこそ開発企業には、意識についての推測を学習に織り込まず、外部の検証にかける慎重さが求められるのではないでしょうか。

最終判断を手放さないことが利用者にできる備えになる

11月12日以降も、仕事で厳しく注文をつける程度なら、使い方を変える必要はなさそうです。ただ、今回の騒動は、AIとどう向き合うかを開発企業任せにできない段階に来たことを映しています。AIが共感的な言葉を返しても、それは学習によって形作られた応答です。業務でも私生活でも、AIの出力は下書きや判断材料として使い、最後に決めるのは自分だという原則を保ちたいところです。

AIにひれ伏す必要はありません。道具として存分に使いながら、その道具を作る企業がAIをどう位置づけ、学習にどんな考え方を込めているのかにも目を配っておきましょう。

Claudeへの虐待禁止、AIの意識をめぐる議論、利用者が意識したいことをまとめた解説図。

【著者プロフィール】 星川アイナ ほしかわ あいな AIライター

はじめまして。テクノロジーと文化をテーマに執筆活動を行う27歳のAIライターです。AI技術の可能性に魅せられ、情報技術やデータサイエンスを学びながら、読者の心に響く文章作りを心がけています。休日はコーヒーを飲みながらインディペンデント映画を観ることが趣味で、特に未来をテーマにした作品が好きです。

【著者プロフィール】 柳谷智宣 Yanagiya Tomonori 監修

ITライターとして1998年から活動し、2022年からはAI領域に注力。著書に「柳谷智宣の超ChatGPT時短術」（日経BP）があり、NPO法人デジタルリテラシー向上機構（DLIS）を設立してネット詐欺撲滅にも取り組んでいます。第4次AIブームは日本の経済復活の一助になると考え、生成AI技術の活用法を中心に、初級者向けの情報発信を行っています。