📌 この記事の要約

• AIが賢くなってもハルシネーションは消えない
  米連邦地裁では、原告側と被告側の弁護士がそろってAI生成の架空判例を提出し、4人が制裁を受けました。

• 危ないのは固有名詞と数字
  事件名、判例名、人名、日付、金額、統計、URLなどは、AIがもっともらしく作り出しやすい要注意ポイントです。

• 確認漏れは本人だけでなく依頼人にも響く
  制裁を受けた弁護士は出廷停止や罰金を命じられ、依頼人も新しい代理人を探す必要に迫られました。

• 対策は複数AI、出典確認、別セッション検証、検索
  AIの回答を鵜呑みにせず、人間が最後に確認する手順を業務フローへ組み込むことが重要です。

生成AIの性能はどんどん向上しています。文章の自然さも推論の正確さも以前とは比べものにならず、リサーチや資料作成をAIに任せる人は珍しくありません。それでも、もっともらしいウソを生成してしまうハルシネーションという弱点は消えていません。

2026年6月8日、米ミシシッピ州北部地区連邦地方裁判所のエイコック判事が下した制裁命令は、その怖さをはっきりと示す内容でした。原告側と被告側、双方の弁護士がそろってAIの作った架空の判例を裁判所に提出し、4人まとめて制裁を受けたのです。

今回の制裁命令の冒頭ページです。AIが生成した架空の判例を裁判所に提出した4人の弁護士に、制裁が言い渡されました。

原告側も被告側もそろってAIの捏造判例を提出した

事件は、ある弁護士費用をめぐる契約上の争いでした。原告のウィザース氏と被告のアバディーン市、それぞれの代理人弁護士が裁判所に提出した書面に、実在しない判例の引用がいくつも紛れ込んでいたのです。

裁判所が引用元を確認しようとしたところ、どれも見つかりません。「Miller v. City of Greenville」といった、いかにも本物らしい事件名に巻数やページ番号まで添えられていたのに、すべてAIが作り出したハルシネーションでした。

原告側を担当したウィルソン弁護士は、法律文書を作成するAIツール「First Drafts」をおよそ半年使っていました。出力を確認しないまま提出し、裁判所から指摘されて初めて事態に気づいたといいます。さらに驚くのは、彼女がハルシネーションという言葉すら知らず、AIが判例を捏造するとは思ってもいなかったと釈明した点です。裁判所はこの説明を信じがたいと一蹴しました。

話はこれで終わりません。ウィルソン弁護士はこの一件のあとも別の案件でAIを使い続け、2026年4月にはルイジアナ州の破産裁判所で再び同じ理由の制裁を受けています。裁判所は、彼女の謝罪が本心ではなかったと結論づけました。

被告側のウィリアムズ弁護士も負けていません。事務所が導入してまだ90日ほどの法律調査AIを使ったのですが、このツールはミシシッピ州の判例を扱う設計にはなっておらず、本人もそれを承知していました。裁判所に問い詰められると、いや地域全体をカバーするはずだと前言を翻し、苦しい弁解に終始します。

しかも彼女の事務所には、出力を必ず人手で検証するというAI利用方針があり、パートナーである本人がそれを破っていました。極めつけは、対面の審理を避けようと別件の予定を口実にしたものの、その予定はすでに延期済みで、はじめから矛盾はなかったという顛末です。

地元の補佐役だった2人の弁護士は、書面を読まないまま電子署名だけを付けていました。片方は、中身を確認せずに署名してよいと、あらかじめ相方に許可していたほどです。便利だからとAIに丸投げし、誰も最終確認をしなかった。笑い話のようですが、現実に起きた出来事です。

ファクトチェックで真っ先に疑うべきは固有名詞と数字

ビジネスで生成AIを使う際、ハルシネーションには悩まされます。しかし、生成AIの仕組み上、今のところハルシネーションを完全になくすことはできません。そのため、人間側の対応が必要になります。

ハルシネーションが出てリスキーなのは、人名や会社名、事件名や判例名といった固有名詞と、金額や日付、統計データといった数字です。弁護士たちが提出した書面では、存在しない事件名に巻数やページ番号まで添えられ、本物の引用と見分けがつかない形になっていました。AIは知識の空白を埋めるとき、それらしい固有名詞と数字をためらいなく作り出します。

他にも、契約金額や見積もり、決算の数値を一桁でも間違えれば、取引や信用に直結します。市場規模や成長率を裏付ける統計、参考にした論文や調査の出典も要注意です。AIに「参考にしたサイトのURLを教えて」と頼むと、それらしい一覧を返してくるのに、開いてみるとリンク先が存在しないという経験をした人は多いはずです。法律や規制、製品の仕様や価格も、間違えれば実害につながる典型でしょう。

AIの出力をチェックしなかった代償は計り知れません。今回の事件で最も重い処分を受けたのは、AIを使って書面を作成したウィルソン弁護士とウィリアムズ弁護士でした。2人はこの裁判所に出廷する許可を取り消され、今後2年間は同じ連邦地裁で弁護活動ができなくなりました。罰金もウィルソン弁護士に2500ドル、ウィリアムズ弁護士に3500ドルが命じられ、ウィルソン弁護士にはAIの倫理を学ぶ研修の受講まで義務づけられています。

書面に署名しただけの地元弁護士2人も、無関係では済みませんでした。2人はこの訴訟から外され、それぞれ1000ドルの罰金を科されています。そのうえで4人全員が、所属する弁護士会の懲戒手続きに回されました。

被害は弁護士本人にとどまりません。代理人を失った依頼人は、期限までに新しい弁護士を立てなければ、訴えそのものが打ち切られる状況に追い込まれたのです。たった一度の確認漏れが、罰金や信用の失墜だけでなく、依頼人の利益まで巻き込んだわけです。

ウィルソン弁護士に2500ドル、ウィリアムズ弁護士に3500ドル、地元の弁護士2人にはそれぞれ1000ドルが科されました。

ここで思い出したいのが、米マイクロソフトとカーネギーメロン大学の研究チームが2025年に発表した「生成AIが批判的思考に与える影響」と題する調査です。

仕事で日常的にAIを使う知識労働者319人を対象にしたこの研究では、AIの能力を信頼している人ほど自分では批判的に考えなくなり、逆に自分自身の力に自信がある人ほど出力を吟味する傾向が示されました。研究チームは、AIの出力を見極めたり修正したりする力が足りない人ほど、確認そのものを省いてしまうとも指摘しています。AIが賢くなり、出力が自然になるほど、無防備に信じ込んでしまう危うさはむしろ高まるわけです。

補足

AIの出力が流ちょうであるほど、人間は「正しそう」と感じやすくなります。見た目の自然さと事実の正しさは別物だと切り分ける姿勢が必要です。

AIのウソを見抜くために実践したい4つの手順

では、どうすればハルシネーションを防げるのでしょうか。実は、難しい仕組みは不要で、手軽に解決できます。

1つ目は、複数の生成AIに同じ質問を投げることです。『ChatGPT』や『Gemini』、『Claude』に加え、『Perplexity』や『Felo』といった検索特化型を組み合わせ、どのAIにも共通して出てくる情報を採用します。『天秤AI』のように複数のAIを同時に使えるサービスを利用すれば、出力の比較も楽になります。ただしこれだけでは万全ではないので、ミスが許されない文書では他の方法も併用しましょう。

2つ目は、気になる内容について「その情報の出典は？」と追加で尋ねることです。出典がないときは、AIが素直に謝って回答を出し直すこともよくあります。出典が示されたら、必ず自分で確かめます。URLが開けなかったり、引用された論文が見つからなければ、それはハルシネーションです。

3つ目は、生成AIにファクトチェックさせることです。長い原稿をまるごと検証させると見落としが増えるので、段落ごとに区切って確認するのがコツです。プロンプトは「ファクトチェックして」で十分ですが、必ず別のセッション、できれば別のAIサービスで行いましょう。同じセッションだと、それまでの文脈を引き継いで問題なしと答えてしまいがちだからです。

4つ目は、固有名詞と数字をGoogleで検索することです。人名や会社名、事件名といった固有名詞と、統計や日付、金額といった数字が出てきたら、反射的に検索する癖をつけます。今回の弁護士たちも、架空の事件名を一度検索しさえすれば、その場で捏造に気づけたはずです。最後は人の目で確かめる。この一手間こそが、AIの力を安全に引き出す分かれ目になります。

ハルシネーションを回避する4つの方法。

AIが賢くなるほど人間のチェックが重みを増す

生成AIはこれからも賢くなり、出力はますます自然になっていきます。だからこそ、ウソもより見抜きにくくなるという逆説的な現象を忘れてはいけません。

今回の制裁命令には、技術は言葉を生み出せても、その言葉に誠実さや真実、責任を与えることはできない、それは署名する人間の務めだ、という趣旨の指摘がありました。文章を世に出す最終的な責任は、いつだって人間の側にあります。

ファクトチェックは作業の邪魔者ではなく、AIを安全に使いこなせる人とそうでない人を分ける一線です。便利さに引きずられて確認を省くか、面倒でも一手間をかけるか。その小さな選択の差が、信用を守るか失うかを左右します。数分の確認を惜しんだ結果、職業も依頼人も失いかけた4人の姿は、けっして他人事ではありません。AIに任せるほど、最後に自分の目で見直す習慣を仕事に組み込んでおきたいものです。

生成AIのハルシネーション事例と、実務で取り入れたい確認手順をまとめた解説画像です。