AIハルシネーションとは？発生する原因・事例とRAGによる対策を解説

ChatGPTやCopilotを業務に使い始めた人が「ハルシネーション」という言葉に出会ったとき、最初に感じる疑問は「なぜAIは自信満々に嘘をつくのか」という一点に集まる。そしてもう一つ「完全に防ぐ方法はあるのか」という問い。

ハルシネーションはAIの欠陥ではなく、大規模言語モデル（LLM）の構造上、避けられない現象だ。ただし「避けられない」と「対処できない」は別の話で、RAGによるナレッジ基盤の整備や運用設計の工夫で、業務に影響するレベルのリスクはかなり下げることができる。

この記事では、ハルシネーションが発生する仕組みをLLMの動作原理から解説し、実際に起きた事例と業務リスクを整理した上で、現実的な対策方法を紹介する。

AIハルシネーションとは

定義

AIハルシネーションとは、生成AIが事実ではない情報を、まるで事実であるかのように生成する現象のことだ。

「AIが間違えた」という表現と似ているが、ハルシネーションの問題は「間違い」にとどまらない点にある。AIは誤った情報を躊躇なく、自信を持って語る。回答の文体も根拠の示し方も、正しい情報と区別がつかない。それがハルシネーションを厄介にしている本質だ。

たとえば「2024年の弊社製品の販売実績を教えて」と聞いたとき、ChatGPTはその情報を持っていないにもかかわらず、もっともらしい数字を架空で生成することがある。読む側が疑わなければ、誤情報がそのまま社内資料や顧客向け文書に載ってしまう。

「ハレーション」「ハルネーション」との違い

「ハレーション」は写真・映像分野の用語で、強い光が画面に滲み出る現象のことで、ハルシネーションとは別の意味だ。「AIハレーション」と検索する人も多いが、この文脈では「AIハルシネーション」が正しい表記になる。

「ハルネーション」は「ハルシネーション」の誤字だが、検索数が一定数ある。本記事ではハルシネーション（hallucination）として統一する。

hallucination はもともと医学・心理学用語で、実在しない知覚体験（幻覚・幻聴）を指す言葉だ。生成AIが「実在しない情報を体験として語る」様子が幻覚に似ていることから転用された。

なぜAIはもっともらしい誤りを語るのか

LLMはトークンを確率で選ぶ

ChatGPTをはじめとするLLM（大規模言語モデル）は、入力されたプロンプトを読み、「次のトークンとして最もありそうな語」を選ぶ処理を繰り返すことで文章を生成する。

トークンとは単語や語のかたまりに相当する単位だ。LLMは「この文脈の次に来るトークンの確率分布」を計算し、確率が高いものを選んでいく。これが繰り返されることで、自然な文章が生成される。

ここで重要なのは、LLMには「知っている・知らない」という区別がないという点だ。人間であれば「それは知らない」「調べてみないとわからない」と答えられる。しかしLLMにとっての出力は「次のトークンの選択」であり、「知らないから何も言えない」という状態は構造上存在しない。知らない情報でも、文脈的に「ありそうなトークン」を選んで文章を生成し続ける。この結果、架空の情報が生まれる。

OpenAIは技術記事「Why Language Models Hallucinate」の中で、ハルシネーションがLLMの確率的な生成メカニズムから発生する構造的な問題であることを認めている。つまり、これは特定のモデルの品質問題ではなく、現在のLLM全般に共通する性質だ。

学習データの範囲外は「補完」になる

LLMは大量のテキストデータを学習して作られる。しかし、学習データに含まれていない情報は、モデルが自分で補完するしかない。

社内固有の情報（自社製品の仕様・価格・社内規程・会社の沿革など）は、当然ながら学習データには含まれていない。こうした情報を聞かれたとき、LLMは「それっぽい情報」を確率的に生成する。ここがハルシネーションが特に起きやすい場面になる。

また、学習データのカットオフ以降の情報（最新の法改正・新製品・時事情報など）も同様だ。「2025年の最新規制を教えて」と聞けば、LLMは知らないはずなのに何らかの情報を語る可能性がある。

プロンプトの曖昧さもリスクを高める

指示が曖昧なほど、LLMは自由に補完する余地が増えてハルシネーションが起きやすくなる。「詳しく教えて」という指示より「〇〇の根拠を示しながら、わからないことは『わかりません』と答えて」と明示した方が、曖昧な補完を抑制しやすい。

ただし、プロンプトの改善だけでは学習データ外の情報へのハルシネーションは根本的には解決しない。プロンプトは対策の一部だが、万能ではない。

実際に起きた事例と業務リスク

法律分野での事例

ハルシネーションで最もよく知られる事例が、米国の弁護士が2023年に引き起こした訴訟問題だ。弁護士がChatGPTを使って準備した法廷文書に、実在しない判例の引用が複数含まれていた。裁判官に発覚し、制裁金が科せられた。

弁護士本人はAIが生成した引用を事実確認せずに使用していた。この事例は、AIの回答を「一次情報として使う」ことの危険性を示したとして世界的に注目された。

医薬品の法規制・契約書の確認・コンプライアンス文書の作成など、法的な根拠が必要な業務でも同様のリスクがある。

カスタマーサポートでの事例

法律分野以外でも、顧客に直接対応するAIチャットボットがハルシネーションを起こし、企業側が責任を問われた事例がある。

2022年、カナダの航空会社Air Canadaの公式サイトに設置されたAIチャットボットが、祖母の葬儀のために搭乗した顧客に対し「搭乗後90日以内であれば弔慰運賃の割引を申請できる」と案内した。しかし実際の同社規定では、搭乗後にさかのぼって弔慰運賃を適用することは認められておらず、チャットボットの回答は誤りだった。顧客はこの案内を信じて手続きを進めたが後日申請を拒否され、カナダの少額訴訟審判廷に提訴した。Air Canadaは「チャットボットは独立した情報源であり、回答内容の責任は負わない」と主張したが、審判廷は2024年2月にこの主張を退け、ウェブサイト上の情報がチャットボットから得られたものか静的なページから得られたものかを区別する理由はないとして、同社に賠償を命じた。

開発者向けの事例としては、2025年4月にAIコーディングツールCursorのカスタマーサポートで起きた騒動がある。「複数端末でログインし続けられない」という問い合わせを受けたAIサポートボットが「1契約につき1台までという新しいログイン制限ポリシーが導入された」と回答したが、このポリシーは実在せず、ボットが作り話として生成したものだった。この回答がSNSで拡散し、複数端末で開発するユーザーが相次いで契約を解約する事態に発展した。運営元は後日、ハルシネーションが原因だったと公式に認めている。

いずれの事例も、社内利用にとどまらず顧客と直接対話する場面でAIを使う場合、料金・規定・仕様といった具体的な条件に関する回答は、ハルシネーションが起きた瞬間に企業の信用と法的責任に直結することを示している。

医療・金融・経営判断への影響

医療分野では、薬の用量や禁忌事項についての誤情報が生成されるリスクがある。正確な情報は患者の安全に直結するため、AIを参照情報として使う際にはファクトチェックが必須になる。

金融・経営判断の場面でも、財務数値・市場規模・競合情報などが架空で生成されることがある。経営資料や投資判断の根拠にAI出力をそのまま使うと、意思決定の前提が崩れるリスクがある。

「ゼロにならない」という前提

ChatGPT・Gemini・Claude、いずれのLLMも現時点でハルシネーションをゼロにできていない。モデルが高性能になるほどハルシネーションの割合は減っているが、構造的にゼロにはなっていない。

このため対策の考え方は「ゼロを目指す」ではなく「使う場面とリスクを設計する」に変わる。どの業務でAIを使い、どこで人間が確認するかを設計することが、実務での正しいアプローチだ。

ハルシネーションを減らす3つのアプローチ

①プロンプトを明確にする

最もすぐに取り組めるのが、プロンプトの改善だ。以下のような指示を加えると、ハルシネーションが抑制されやすくなる。

• 「わからない場合は『わかりません』と答えてください」と明記する
• 「根拠を示してください」と指定することで、根拠のない断定を減らす
• 「〇〇の範囲に限定して答えてください」と情報源を絞る
• 複雑な質問は段階的に分解してから聞く（Chain-of-Thoughtアプローチ）

ただし繰り返しになるが、プロンプト改善だけで学習データ外の情報への補完は防げない。プロンプトはハルシネーション対策の入り口であり、特に社内固有情報が必要な業務には次のRAGが本命になる。

②RAGで自社ナレッジを参照させる

RAG（Retrieval-Augmented Generation）は、生成AIが回答する前に自社の文書データベースを検索し、関連情報を見つけてからLLMに渡す仕組みだ。LLMが「自分の記憶」だけで回答するのではなく「手渡された資料」を参照して答えるため、ハルシネーションを大幅に抑制できる。

処理の流れをシンプルに説明すると次のようになる。

1. ユーザーが質問を送る
2. その質問をベクトル（数値）に変換し、社内ドキュメントの中から意味的に近い部分を検索する
3. 見つかった関連部分をプロンプトに付与し、LLMに渡す
4. LLMは手渡された資料を参照しながら回答を生成する

この流れのポイントは「LLMが参照する情報源を自社の確かなドキュメントに限定できる」点にある。架空の情報を補完する余地が減り、根拠のある回答が得やすくなる。

ただし、RAGの精度はナレッジ基盤の質に依存する。社内文書が古い・構造化されていない・散在しているといった状態では、検索がうまく機能せず、ハルシネーション低減効果が薄くなる。RAG導入と並行して「社内ナレッジを整備する」プロセスが重要になるのはそのためだ。

実際の企業AI支援の現場では、NotebookLMやRAGシステムに社内規程・製品仕様書・過去のFAQを投入したことで、「社内情報を聞いてもまるっきり違う答えが返ってきた」という状況が大幅に改善したケースがある。RAGへの投入に向けて社内文書を整理するプロセス自体が、ナレッジマネジメントの強化にもつながる副次効果がある。

③ファクトチェック体制の整備

AIの出力を最終的に人間が確認するフローを設計することも、ハルシネーション対策の核になる。

• AIは「草稿・検索の代わり・アイデア出し」に使い、「確認・決定は人間が行う」という役割分担を明確にする
• 重要な数値・固有名詞・法的根拠が含まれる出力は、人間が一次情報と照合する
• AIに参照元URLを示させる設定（Web検索付きモードやソース表示機能）を活用する

具体的な検証の工夫としては、重要な回答ほど「条件を変えて複数回同じ質問を投げ、回答が一貫しているかを確認する」「生成のランダム性を決めるパラメータ（temperature）を下げ、再現性を高める」といった技術的な対策も有効だ。特に、Air CanadaやCursorの事例のように顧客と直接対話するチャットボットを外部公開する場合は、公開前に想定される質問集を用いて回答内容を人がレビューし、料金・規定・数値に関わる回答だけは固定文言や社内ドキュメントへのリンクに差し替えるといった運用ルールを組み込んでおくと、同様の事態を防ぎやすくなる。

完全に自動化せず、人間が「最終確認のゲート」として機能するワークフロー設計が、リスクを現実的なレベルに抑える。これはAI活用の初期段階で特に重要になる設計だ。

用途別リスク判断表

ハルシネーションはゼロにならないため、「AIを使う・使わない」という二択ではなく「どの業務でどう使うかを設計する」という視点が必要になる。業務タイプ別にリスク区分を整理した。

リスク区分	業務タイプ	判断のポイント
高リスク	法的文書の作成・法規制の確認	誤情報が法的責任に直結する。専門家の確認を必須化する
高リスク	医療・薬事情報の提供	生命・健康へのリスクがある。一次情報との照合を前提にする
高リスク	財務数値・統計の確認	架空数値が経営判断に影響する。出典確認を必須化する
中リスク	顧客向けコンテンツの執筆	ファクトチェックを必須フローにした上で活用できる
中リスク	社内文書の要約・翻訳	社内資料をRAGで参照させればリスクを下げられる
低リスク	アイデア出し・ブレインストーミング	誤情報でも発散フェーズでは致命的になりにくい
低リスク	下書き・たたき台の作成	人間がレビューするフローが前提であれば問題は少ない

「高リスク領域ではAIを禁止する」というアプローチをとる企業もあるが、現実的には「高リスク領域ではファクトチェックを必須フローにして、RAGで参照元を社内ドキュメントに限定する」という設計の方が実務に合っている。禁止するだけでは業務効率化の機会が失われる一方で、ルールを破って使う行動を防げない。

「どの業務でどう使うか」を役員・マネジャーレベルで合意し、ガイドラインとして明文化することが、組織としてのリスク管理の第一歩になる。

まとめ

AIハルシネーションは、LLMが確率でトークンを選ぶという構造上、現時点でゼロにはならない。ChatGPT・Gemini・Claudeのいずれのモデルも同様だ。

対策の核は3つあった。プロンプトの明確化で曖昧な補完を抑制すること、RAGによって自社ナレッジを参照させることでLLMの情報源を確かな文書に限定すること、そして人間がファクトチェックのゲートとして機能するフローを設計すること。

中でもRAGは、「社内固有情報へのハルシネーション」という最も業務に影響しやすい問題に対して効果が高い。ただしRAGの精度は社内ナレッジの質に依存するため、ドキュメント整備と一体で取り組む必要がある。

Craft Collegeでは、ハルシネーションの仕組みからRAG実装の基礎まで、実務で活用できるAI知識を体系的に学べるカリキュラムを提供しています。→ Craft Collegeの詳細はこちら

AIハルシネーション対策の相談は「リベルクラフト」

RAG設計・社内ナレッジ整備・AI導入戦略のご相談を承っています。ハルシネーションが業務リスクになる前に、設計段階から対策を一緒に組みましょう。

⇨リベルクラフトへの無料相談はこちら