会議の資料を作るためにAIへ数字の根拠を尋ねたところ、それらしい出典とともに存在しない情報を提示され、慌てて訂正した経験はないでしょうか。
社内でのAI活用を広げたいものの、こうした誤りが顧客対応や決裁書類に混ざることを想像すると、利用範囲をどこまで広げてよいか判断に迷っていないでしょうか。
生成AIの企業活用はこの数年で急速に広がりましたが、AIは文章として自然かどうかを重視して単語をつないでおり、内容が事実かどうかを検証する仕組みを持っていません。
そのため、誤った内容であっても正しい回答と同じ確信度で出力してしまう性質が残ったままです。
この記事では、業務自動化の構築設計で使っている判定基準をもとに、ハルシネーションが起きる原因と業務側の対策を整理しています。
具体的には、人の確認をどこに挟むか、出典を示せる仕組み（RAG）をどう使うか、用途ごとの向き不向きをどう判断するかの3点です。
ハルシネーションが起きても業務が壊れない設計の考え方を、判断の軸ごとにまとめています。
ハルシネーションとは？なぜAIは事実と異なる回答をするのか
ハルシネーションとは、AIが事実に基づかない内容を、根拠があるかのように自然な文章で生成する現象です。
生成AIの学習データと矛盾する内容を作る『内在的ハルシネーション』と、学習データにそもそも存在しない情報を作る『外在的ハルシネーション』の2種類に分けられます。
どちらも共通しているのは、AIが文章の自然さを優先して単語をつないでいく仕組み上、内容の正誤を検証する機構を持たない点です。
この現象は導入現場でも最大級の懸念になっており、大企業の生成AI導入担当者を対象にした国内調査では次の結果が示されています。
「生成AIの活用にあたり、どのような技術的な課題に不安を感じますか。（複数回答）」という設問に対し、「誤情報の生成（ハルシネーション）」と回答した割合が59.2%で最多だった（年商500億円以上の大企業で生成AI導入に携わった回答者 n=218、2024年10月1日～2日実施）
出典： AI inside株式会社「生成AIの業務適応と課題に関する実態調査」
ハルシネーションが起きる原因は複数ありますが、現場で実際に起きやすいのは次の3つです。
学習データの偏り・古さによる誤り
AIが学習した情報に偏りや古さがあると、実態と異なる内容を正解として出力しやすくなります。
たとえば法改正や制度変更の直後は、AIが古い基準のまま回答を返すことがあります。
学習データの収集時点より後に起きた出来事について尋ねると、存在しない後続情報を推測で埋めて回答するケースも見られます。
社内規定や料金プランなど社外に公開されていない情報を尋ねた場合も、AIが古い情報や一般論で回答を埋め合わせるため、この種の誤りは時事性の高い質問や非公開情報への質問で特に起きやすくなります。
確率的に文章を予測する仕組み上の限界
生成AIは次に続く単語を確率的に予測して文章を組み立てており、100%正確な回答を保証する仕組みを持っていません。
未知の質問に対しても統計的にもっともらしい単語の並びを作ろうとするため、情報が不足している場合でもそれらしい回答を生成してしまいます。
実際にAIへ実在しない商品名や制度名を尋ねると、存在しない説明文をそのまま作り出す挙動が起きます。
この性質はモデルの性能とは別の、生成AIという仕組みそのものに内在する限界です。
曖昧な指示や難しい質問への無理な回答
指示や質問が曖昧なとき、AIは意図を推測して補いながら回答するため、誤った方向で補完しやすくなります。
たとえば『先月の売上を要約して』とだけ指示すると、AIはどの範囲のデータを指すか自己判断し、実際には参照していない数値を補って回答することがあります。
専門性の高い質問や、AIが根拠を持たない領域の質問でも、無回答より回答を優先する傾向から誤りが生まれやすくなります。
主語や期間、参照してほしい情報源を指示に明示するだけで、この種の誤りは大きく減らせます。
指示の与え方そのものを体系立てて整理する考え方は、次の記事で扱っています。
【よくある誤解】性能の低いAIだけが起こすのか
ハルシネーションは、性能が低い旧世代のAIに限った現象ではありません。
最新の高性能なモデルであっても、学習していない情報や難易度の高い質問に対しては、確信度の高い誤答を返すことが報告されています。
かつては『AIがまだ未熟だから起きる』という説明がされていましたが、現在では『生成AIという仕組みの性質上、性能に関わらず一定確率で起こりうるもの』という理解に変わっています。
だからこそ、AIの性能向上を待つのではなく、起きた前提で業務側の設計を組む発想が必要になります。
ハルシネーションが起きても業務が壊れない設計とは？
ハルシネーションを完全にゼロにすることはできないため、起きた場合にも業務が止まらない設計を組むことが現実的な対策になります。
判断の軸は、どこまでを人が確認するか、AIに出典を示させて検証できる状態にするか、そもそもAIに任せてよい用途かどうかの3つです。
この3つを組み合わせることで、誤りが混入しても業務プロセスの途中で止められる設計になります。
人の確認をどこに挟むか
AIの出力を人が確認する工程は、対象業務の性質によって全件確認とサンプリング確認に分けて設計します。
顧客への送付文書や契約書、金額を含む数値のように誤りが後戻りできない業務は、AIの下書きであっても人による全件確認を必須にします。
一方、社内向けの要約やアイデア出し、下書きの叩き台のように、誤りがあっても後工程で人が手を入れる前提の業務は、サンプリング確認で足りることが多くなります。
| 対象業務の例 | 誤りが外部に出た場合の影響 | 確認方法 |
|---|---|---|
| 顧客送付文書・契約書・金額を含む数値 | 大きい（取引先の信用・金銭的な損失に直結） | 全件確認 |
| 社内向け要約・アイデア出し・下書きの叩き台 | 小さい（後工程で人が必ず手を入れる） | サンプリング確認 |
全件確認とサンプリング確認のどちらにするかは、誤りが外部に出た場合の被害の大きさで線引きするのが実務的です。
RAGで出典を表示し、その場で裏取りできるようにする
RAG（Retrieval-Augmented Generation：検索拡張生成）は、AIが回答を作る前に社内文書や信頼できる外部情報を検索し、その内容をもとに回答を生成する仕組みです。
RAGを使うAIツールの多くは、回答の根拠になった文書名やページ番号を合わせて表示できるため、利用者はその場で一次情報に当たって裏取りできます。
出典が示されない汎用チャットの回答と、出典付きで検索結果を提示するRAG構成の回答では、確認にかかる時間が大きく変わります。
社内規定や過去の契約内容のように、正誤を判定できる一次情報が社内に存在する業務ほど、RAG構成を優先して導入する価値があります。
RAG構成を導入していないツールで確認する場合は、AIに『参照した情報源を教えてください』と尋ね、出てきた出典を人が個別に検索して裏取りする運用でも代替できます。
ただし、一次情報が社内文書として整理されていない業務では裏取り自体に時間がかかるため、RAG構成の優先度はそうした業務ほど高くなります。
RAGの仕組み自体は次の記事で詳しく整理しています。
用途ごとにAIに向く業務・向かない業務を判定する
AIをすべての業務に同じ確認レベルで使おうとすると、確認作業がボトルネックになり導入が定着しません。
向き不向きは、頻度、定型度、事故コストの3つの軸で判定すると、部署をまたいでも同じ基準で議論できます。
| 判定軸 | 見るポイント | AI活用に向く傾向 |
|---|---|---|
| 頻度 | その業務がどれくらいの頻度で発生するか | 頻度が高いほど、確認の仕組みを整える投資対効果が出やすい |
| 定型度 | 判断のパターンが決まっているか | 定型的なほど、AIの回答が事実と一致しているか判定しやすい |
| 事故コスト | ハルシネーションが混ざった場合の被害の大きさ | 事故コストが低いほど、確認を軽くしてAI活用を先に広げやすい |
誤りが発生しても影響が小さく、後工程で人が必ず目を通す業務は、事故コストが低い領域としてAI活用を先に広げてよい対象です。
逆に、誤りがそのまま顧客や社外に届く業務、金額や日付などピンポイントの正確性が求められる業務は事故コストが高く、AI単独での完結を避けて人の判断を必須工程として残します。
この3軸での判定結果を部署ごとに一覧化しておくと、新しい業務にAIを使うかどうかを都度議論せずに判断できるようになります。
ハルシネーション対策を社内ルールとしてどう運用するか？
3つの判断軸を一度決めても、現場での運用に落とし込まなければ形骸化します。
ルールを明文化し、誤りが起きたときの対応まで決めておくことが、担当者が変わっても同じ基準を保つ土台になるためです。
ここでは、チェック体制、発生時の対応フロー、ツールごとの利用範囲という決めておきたい3点に加えて、運用を定着させる始め方までを順に整理します。
チェック体制を明文化する
『どの業務は誰が、どの頻度で確認するか』を文書化し、AIを使う全員が同じルールで参照できる状態にします。
確認者を業務ごとの管理者に限定するか、担当者本人の自己チェックで足りるかは、全件確認とサンプリング確認の線引きに合わせて決めます。
ルールが口頭伝達のままだと、繁忙期に確認が省略されやすくなるため、簡潔でも文書として残すことが定着の分かれ目になります。
ハルシネーションが起きた時の対応フローを決めておく
誤りが発見された場合の報告先と修正手順を、事前に決めておきます。
『誤りに気づいた人がすぐに担当者へ報告し、該当の出力を使った資料や送付物があれば回収・訂正する』という流れを明文化しておくと、発覚後の対応が遅れません。
対応フローがないまま運用すると、担当者個人の判断に委ねられ、同じ種類の誤りが繰り返し起きる原因になります。
AIツールごとの利用範囲と権限を管理する
チェック体制と対応フローに加えて、どのAIツールをどの業務で使ってよいかという利用範囲の管理も欠かせません。
無料の汎用チャットと、社内文書を検索対象にしたRAG構成のツールでは、出典表示の有無や参照できる情報の範囲が異なるため、業務の性質に合わせて使い分けるルールを決めておきます。
たとえば、社外秘の情報を扱う業務では社内文書を参照できるツールに限定し、汎用チャットは社外に出しても問題ない情報の下書き作成に用途を絞るといった線引きが実務的です。
利用範囲を部署やツールごとに管理表として残しておくと、新しいAIツールを導入する際にも同じ基準で判断できます。
チェック体制から利用範囲の管理表まで、社内ルールをどう作るかは次の記事にまとめています。
導入初期はAIに向く業務から始める
社内でAI利用のルールを新しく作る段階では、判定基準に照らして向いている業務から始めると、ハルシネーションのリスクを抑えながら運用の勘所を掴めます。
誤りが起きても影響が小さい業務で経験を積んでから、確認体制が整った段階で対象範囲を広げると、途中で運用が止まりにくくなります。
自社のどの業務から始めるべきか判断がつかない場合は、 個別相談 で業務の棚卸しから一緒に整理することも可能です。
ハルシネーション対策について相談してみませんか？
「AIの回答をどこまで信じていいか判断できない」「誤りが起きたときの社内ルールがまだない」「業務ごとにAIの向き不向きを整理する時間が取れない」
少しでもお心当たりがあれば、お気軽にご相談ください。
現在、AI業務利用に関するお悩みをお伺いする 無料の個別相談 を実施しています。
ハルシネーションと業務利用でよくある質問
Q. 社内のAI利用で、ハルシネーションのチェックを全部人がやると工数が増えすぎませんか？
全件確認が必要なのは、誤りが外部に出る業務や、金額・日付などピンポイントの正確性が必要な業務に限られます。
社内向けの下書きや要約案はサンプリング確認で足りるため、業務の切り分け次第で確認工数は大きく抑えられます。
すべての業務を一律に全件確認する運用は、確認作業自体が新たなボトルネックになり、結果としてAI活用が広がらない原因になります。
Q. RAGを導入すればハルシネーションはなくなりますか？
なくなりません。
RAGは出典を示して裏取りしやすくする仕組みであり、参照元の文書自体に誤りがあれば同様に誤った回答が生成されます。
RAGは発生率を下げ、誤りを発見しやすくする対策であって、確認工程を完全に不要にするものではありません。
Q. どの業務からAI利用のルール整備を始めればいいですか？
誤りが起きても影響が小さく、人が必ず後工程で目を通す業務から始めるのが実務的です。
最初から顧客対応のような事故コストの高い業務で試すと、1件の誤りで社内の反対が強まり、活用自体が止まる失敗につながります。
会議メモの下書きや社内資料の要約案など、対外的な影響が小さい範囲で運用を固めてから、確認体制が整った業務へ順に広げます。
Q. 無料のAIツールでもハルシネーション対策はできますか？
可能です。
RAG機能や出典表示のない無料ツールでも、質問の際に主語や期間、参照してほしい情報源を明示するだけで誤りの発生を抑えられます。
金額や日付など後戻りできない情報を扱う場合は、無料・有料に関わらず人による確認を必須にします。
Q. 上司や経営層にAI活用のリスクをどう説明すればいいですか？
『頻度・定型度・事故コスト』の3軸で業務を分類し、事故コストが低い業務から始めて確認体制を広げるという順序で説明すると伝わりやすくなります。
リスクをゼロにする提案ではなく、誤りが起きても被害を局所化できる設計であることを示す説明の方が、決裁の判断材料として受け入れられやすくなります。
説明の際は、全件確認とサンプリング確認の線引き表のように、判断の根拠をそのまま見せられる資料を添えることも合意形成に有効です。
