シャドーAIのハルシネーション｜確かめていないAIの答えが業務に混ざる危険と防ぎ方

シャドーAI（野良AI）のハルシネーションとは、会社が把握していない個人のAIが出したもっともらしい誤りが、誰にも確かめられないまま資料や顧客への回答に混ざってしまう問題のことです。怖さは誤りそのものより、作った本人のほかに答えを見た人がおらず、どの文書に使われたかも後から追えない点にあります。防ぐ手立ては、社外に出す前の確認手順と確認する人を決めること、そして会社が公認したAI環境を配ってログが残る状態にすることになります。情報漏洩や学習利用を含む全体像は、野良AI（シャドーAI）とは｜意味・リスク・対策の記事で紹介しています。

シャドーAIとは何かを短く確かめたい方はシャドーAIとは？会社にバレる範囲とバレない範囲、会社として何から始めるかはシャドーAI対策は何から？最初の30日でやることをご覧ください。

シャドーAIのハルシネーションとは｜もっともらしい誤りを自信ありげに出す現象

ハルシネーションとは、生成AIが事実と異なる内容や存在しない情報を、もっともらしく自信ありげな文章で出してしまう現象のことです。英語で幻覚を意味する言葉で、AIが答えに迷う様子を見せないまま誤りを出す点に特徴があります。存在しない資料の題名や実在しない条文番号、計算の合わない数字が、正しい情報と同じ調子で並ぶことも珍しくありません。

IPA（情報処理推進機構）の「情報セキュリティ10大脅威 2026」では、組織編の3位に「AIの利用をめぐるサイバーリスク」が初めて選ばれました。解説書でも、対話型AIは架空の情報を事実のように示すことがあり、手軽さから頼り過ぎて誤った答えを鵜呑みにするおそれがあると説明されています。警視庁サイバーセキュリティ対策本部も2026年5月12日に公式XでシャドーAIへの注意を呼びかけ、ITmediaの報道によると、図の中でハルシネーションを情報漏えい・著作権侵害と並ぶリスクに挙げていました。

シャドーAIの場合、誤りの性質は同じでも、周りの条件が変わってきます。会社が把握していないAIで作られた答えは、確かめる人も確かめた記録もないまま、次の作業へ流れていくためです。社員の方が個人のアカウントで使うAIは、会社から見ると、どんな質問をしてどんな答えを受け取ったのかが分かりません。公認のAIであれば、少なくとも会社が使い方の決まりを示し、利用の記録を残す余地があります。問題になるのはAIが誤ることより、その誤りを誰も確かめていないことになります。

誤りに気づきにくく、そのまま業務判断や対外文書に使われる理由

AIの誤りに気づきにくいのは、間違った答えほど文章が整っていて、読み手に疑う手がかりを与えないためです。人が書いた資料なら、自信のない箇所は言い回しが曖昧になったり、出典が空欄のまま残ったりします。AIの答えは、正しい部分も誤った部分も同じ滑らかさで続くため、どこから疑えばよいのかが見えにくくなってしまいます。

日本情報システム・ユーザー協会（JUAS）の「企業IT動向調査報告書2026」では、言語系の生成AIを導入するときの課題として、ハルシネーション・信頼性を挙げた割合が66.4%で、機密情報の流出（70.1%）に次ぐ2位でした。調査は2025年9〜10月に東証上場企業とそれに準じる企業のIT部門長を対象に実施され、957社が回答しています。中小企業に絞った数字ではないものの、AIの導入を進める会社の間でも、答えの正しさを課題と感じている様子がうかがえます。

業務の中では、誤りに気づかないまま、答えがそのまま判断の材料や対外文書の文面になっていきます。調べものの答えを会議資料に引用したり、顧客への回答メールの下書きに使ったりする場面では、元の答えを疑う工程が抜けやすくなります。急ぎの仕事ほど読み返す時間が削られるため、確認はさらに後回しになってしまいます。

AIの答えが会議でそのまま読み上げられ、出席者がその数字を前提に話を進めてしまう、という場面も考えられます。一度判断の材料として共有された数字は、誰かが疑問を出さない限り、確かめ直されることはほとんどありません。誤りが含まれていても議事録や次の資料に引き継がれ、出どころはさらに見えにくくなっていきます。

AIへの過信（オートメーションバイアス）が確認を省かせる

オートメーションバイアスとは、機械や自動化された仕組みの答えを、人の判断より正しいものとして受け入れてしまう傾向のことです。何度か使って正しい答えが続くと、次の答えも正しいだろうと考えて、確かめる手間を省くようになります。先ほどのIPAの解説書が、手軽さからの過剰依存を挙げているのも、この傾向と重なってきます。

会社が公認したAIであれば、社内で使い方の注意を共有したり、確認の手順を決めたりして、過信に歯止めをかけることが出来ます。シャドーAIでは、そうした声かけが届かない場所で使われるため、過信がそのまま確認の省略につながってしまいます。慣れた社員の方ほど確認を省きやすい、という前提で手順を決めましょう。

シャドーAIには確認の場がない｜答えが業務に混ざる4つの段階

シャドーAIの答えは、調べる・メモに残す・社内資料に貼る・社外へ出す、の4つの段階を通って業務に混ざりますが、どの段階にも確認の場がありません。公認のAIであれば途中のどこかで誰かの目や記録に触れますが、シャドーAIでは最後の段階まで作った本人しか答えを見ていないことが多くなります。段階ごとに、誰が見るのか、記録が残るのかを確かめてみてください。

段階1：個人のアカウントでAIに調べものをする

始まりは、社員の方が自分のスマートフォンや個人のアカウントでAIに質問する場面です。補助金の要件や取引先の業界動向、法改正の中身などを手早く知りたいときに使われやすくなります。この段階で答えを見るのは本人だけで、会社には質問も答えも記録として残りません。答えのどこが正しく、どこが推測なのかも、本人の判断に任されてしまいます。

段階2：個人のメモや下書きに残す

次に、答えの一部が個人のメモアプリや文書の下書きに写されます。ここで、AIから得た情報だという印が消えてしまうことが多くなります。数日後に本人が読み返しても、自分で調べた内容なのか、AIの答えなのかを区別出来なくなることもあるでしょう。見る人は本人だけで、記録はあっても会社の管理の外にあります。社内のチャットで同僚に共有した場合も、AIの答えだという前提までは伝わらないことが多いでしょう。印が消えた答えは、その後どれだけ書き写されても、本人が調べた内容として扱われ続けてしまいます。

段階3：社内資料や報告書に貼り込む

メモの内容が会議資料や社内報告書に貼り込まれると、初めて他の社員の方の目に触れます。ただ、受け取った側はそれをAIの答えとは知らず、作成者が調べた事実として読むのが普通です。上司が目を通していても、確かめているのは結論や体裁で、引用された数字や条文の出どころまでは見ていないことが多いでしょう。資料のファイルは残りますが、その数字がどこから来たのかという記録は残りません。社内の資料は別の資料の下敷きとして使い回されるため、1つの誤りが複数の文書へ広がっていくことにもなります。どの資料がどの答えをもとにしているかを、後から1つずつたどるのは難しくなってしまいます。

段階4：顧客や社外へ出す

最後に、資料の一部が提案書や顧客への回答、会社のサイトの記事などとして社外に出ていきます。社外の方は、それを会社として確かめた内容だと受け取ります。AIの答えだと知っているのは、社外に出る直前まで作った本人だけ、という状態になってしまいます。誤りに最初に気づくのが顧客や取引先になりやすいのは、このためです。

顧客向けの提案書や回答に誤りが混ざると、信頼が損なわれる

顧客向けの提案書や回答に誤りが混ざると、損なわれるのはその1件の正しさだけでなく、会社が出す文書全体への信頼です。たとえば会計事務所で、顧問先から補助金の申請要件を聞かれ、担当者が個人のAIで調べた答えをそのまま回答メールに書いたとします。要件の一部が古い年度の内容だったり、存在しない特例が混ざっていたりすれば、顧問先はその前提で準備を進めてしまいます。誤りが分かった時点で、顧問先は他の回答も正しかったのかを疑い始めるでしょう。

中小企業でも同じことが起こります。営業担当の方が提案書に入れた市場規模の数字や、取引先の担当者に送った法令の解説が、AIの作った誤りだった場合を考えてみてください。数字の出どころを聞かれて答えられなければ、提案の中身より先に、会社の確認の甘さが印象に残ってしまいます。総務の方が社内規程の改定案に引用した条文番号が実在しなかった、というように、社内向けの文書でも後から手戻りが生じることになります。顧客から見れば、担当者が個人のAIを使ったかどうかは関係がなく、会社から届いた文書の誤りとして受け止められます。

一度出た文書は、訂正しても最初の誤りの記憶が先方に残ります。信頼を取り戻すには、誤りを出したときより、ずっと多くの手間がかかるものです。だからこそ、社外へ出る前の段階で止める仕組みが必要になります。

実名の事例に見る、確かめなかった答えの行方

国内外では、AIの答えを確かめないまま外に出した結果、制裁金や返金、記事の削除につながった例が報じられています。ここで挙げる例の多くは、会社が把握していないAIの利用（シャドーAI）の事例とは限りません。それでも、確かめていない答えが社外に出たときに何が起きるかを知る手がかりになります。

米国の弁護士が実在しない判例を提出した例（Mata v. Avianca）

2023年6月22日、米ニューヨーク南部地区連邦地裁は、ChatGPTが作った実在しない判例と偽の引用を含む書面を提出した弁護士2人と法律事務所に、連帯で5,000ドルの制裁金（裁判所に納付）を科しました。命令では、裁判所が判例の存在を疑う命令を出した後も、弁護士側が偽の判例を主張し続けたことも問題とされました。裁判所は、信頼できるAIを補助に使うこと自体は本来不適切ではないとしたうえで、提出する書面の正確さを確かめる門番の役割は弁護士にあると述べています。会社のシャドーAIの事例ではありませんが、外に出した文書の正しさは出した側が確かめるもの、という考え方がはっきり示された例になります。

AIの答えでも会社の答えとされた例（Moffatt v. Air Canada）

2024年2月14日、カナダのブリティッシュコロンビア州の民事紛争解決審判所（Civil Resolution Tribunal）は、エア・カナダのサイトのチャットボットが誤った案内をした件で、会社の責任を認めました。チャットボットは、忌引き運賃は搭乗後90日以内に申請すれば適用されると案内しましたが、会社の規程は搭乗後の申請を認めていませんでした。審判所は、会社はサイト上のすべての情報に責任を負い、それが固定のページかチャットボットかで違いはないとして、チャットボットの正確さを確かめる合理的な注意を払わなかったと判断しています。会社には、損害650.88ドル・判決前利息36.14ドル・審判所手数料125ドルの合計812.02ドルの支払いが命じられました。

これは社員のシャドーAIではなく、会社が公開したチャットボットの例です。AIが出した答えでも、会社の名前で外に出れば、会社の答えとして責任を問われます。

コンサルティング会社の報告書で誤りが報じられた例（デロイト豪州・KPMG）

報道によると、デロイトのオーストラリア法人が豪州政府の雇用・職場関係省（DEWR）向けに作った報告書で、実在しない報告書への引用や、連邦裁判所の判決からの作られた引用が見つかりました。英IT媒体The Registerの2025年10月6日の記事では、シドニー大学の研究者の指摘を受けた改訂版で、十数件を超える誤った参考文献や脚注が削除されたと伝えています。改訂版の手法の説明には、委託元の省が契約し、省の環境で動く生成AI（Azure OpenAI GPT-4o）を使ったと書かれていたと報じられました。省は、報告の中身は変わらないと説明しています。

返金については、契約額44万豪ドルのうち、返金は約9.8万豪ドル（4分の1未満）と上院の審査で説明されたと、豪州緑の党が2025年10月9日の声明で公表しました。同じ声明は、財務省が報道を通じて誤りを知ったと認めたとしています。委託元が用意した環境のAIでも、確認の工程が足りなければ誤りは残るということが、この例から読み取れます。

TechCrunchの2026年6月13日の報道によると、KPMGが2025年10月に公表した報告書「Redefining excellence in the age of agentic AI」について、UBSや英国NHS、スイス連邦鉄道、ロンドン交通局が、自組織のAI利用の記述は事実でない、または誤解を招くと英紙フィナンシャル・タイムズ（FT）に回答しました。KPMGは調査の間、報告書をサイトから削除したと伝えられています。

人の確認を通しても誤りが残った例（福岡つながり応援）

J-CASTニュースの2024年11月11日の報道によると、民間企業が運営する福岡県の地方創生キャンペーン「福岡つながり応援」で、生成AIで作った記事に存在しない施設などの誤った情報が載っていると、Xで指摘が相次ぎました。公式Xは11月7日に謝罪し、生成AIを活用して記事を作り、人の確認を経て発信していたと説明しています。記事はすべて削除され、配信は一時止められました。今後の対策として、正確な情報収集の徹底や、複数人による確認体制の強化が挙げられています。同じ記事の見出しでは、後援していた自治体がAIの使用を知らされていなかったことにも触れていました。確認する人が1人いても誤りは残りうること、後援した側がAIの使用を知らないまま公開に至ることもある、という2つの点で参考になります。

誤りが特に危険な領域は法令・契約・医療・金融

AIの誤りが大きな損失につながりやすいのは、法令・契約・医療・金融の4つの領域です。どれも、1つの数字や1つの条文の違いで、相手の判断や支払いがそのまま変わってしまう分野になります。法令では、改正前の条文や存在しない条文番号を引用すると、顧客や社内の判断を誤った方向へ導いてしまいます。契約では、条項の解釈や期限の誤りが、そのまま取引先との争いの種になりかねません。医療に関わる情報は、誤りが人の体に関わるため、AIの答えだけで判断してよい場面はほとんどないでしょう。金融や税務では、税率・控除の要件・金利などの数字の誤りが、顧客の損失や申告の誤りに直結することになります。

この4つの領域では、AIの答えを結論として使わず、原典にあたる前の手がかりとして扱いましょう。IPA産業サイバーセキュリティセンターの中核人材育成プログラム7期生がまとめた「テキスト生成AIの導入・運用ガイドライン」（2024年7月）も、生成物には現実に存在しない情報や事実と異なる内容が含まれる場合があり、常に正確性を確かめる必要があると述べています。同じ資料には、社内資料などを参照させて答えさせるRAG（検索拡張生成）が軽減策の例として挙がる一方で、完全に解消することは出来ないとの記載もあります。

※このガイドラインは、IPA産業サイバーセキュリティセンターの中核人材育成プログラム受講者によるプロジェクトの成果物で、IPAの公式見解ではありません。

ハルシネーションが起きやすい質問の型

ハルシネーションが起きやすいのは、AIの手元に確かな材料が少ない質問です。次のような型の質問では、答えを特に疑ってかかることになります。

• 最新の情報を聞く質問（今年度の制度、直近の法改正、最近の出来事）
• 固有名詞を聞く質問（会社名、人名、製品名、施設名）
• 数字を聞く質問（金額、割合、件数、期限）
• 条文番号や判例を聞く質問（何条の何項か、どの判決か）
• 出典を求める質問（根拠の資料や論文、URLを示してほしいという頼み方）

出典を求める質問は、AIが存在しない資料の題名やURLを作ってしまいやすい場面でもあります。先ほどの弁護士の例やデロイト豪州の例でも、問題になったのは実在しない判例や参考文献でした。公認の環境でWeb検索と組み合わせて答えさせたり、根拠の書き方を決めた頼み方を共有したりすると、誤りを見つけやすくなります。

責任の所在｜誰が確かめたか分からない答えは誰の責任になるのか

AIの答えをもとにした文書が社外に出た場合、海外の判断では、責任を問われたのはAIの提供元ではなく、その文書を出した会社の側となっています。エア・カナダの例でも、審判所はチャットボットの答えを会社の情報として扱いました。弁護士の例でも、裁判所は提出した側に正確さを確かめる役割があると述べています。

シャドーAIで厄介なのは、社外に出た後に誤りが見つかっても、誰がその答えを確かめたのか、そもそも確かめたのかが分からない点です。作成者はAIの答えを上司が確認したと思い、上司は作成者が調べた事実だと思っている、というすれ違いも起こりやすくなります。確かめた人が決まっていない文書は、会社として誰も確かめていない文書と同じになってしまいます。

IPAの解説書は、職場が従業員の個人アカウントによるAIの業務利用を認識できないこともリスクだと指摘しています。責任の所在をはっきりさせるには、AIを使ったことを隠さずに書ける雰囲気と、確かめる役目を持つ人を、仕組みとして決めることが近道になります。誰か1人を責めるためではなく、次に同じ誤りを出さないための決めごととして考えてみてください。

AIの出力は下書き、最終確認は人が行う｜社外に出す前の確認チェックリスト

AIの答えは下書きとして扱い、社外に出す前には必ず人が原典で確かめる、という順番を会社の決まりにしましょう。確かめる中身を人の注意力に任せると、忙しい日ほど抜けてしまいます。次の5点は、AIの誤りが混ざりやすく、社外に出たときの影響も大きい箇所です。

• 数字金額・割合・件数・日付・期限を、元の資料や公式の発表と1つずつ突き合わせます。AIが計算した数字は、自分でも検算します。
• 固有名詞会社名・人名・製品名・制度名・施設名が実在し、表記が正しいかを公式のページで確かめます。
• 法令・条文条文番号と中身を、法令の原文で確かめます。改正の前と後のどちらの内容なのかも見ます。
• URL文書に載せるURLは実際に開き、ページが存在して、書かれた内容が本当に載っているかを確かめます。
• 引用元引用した資料や判例が実在するか、引用した文がその資料に本当に書かれているかを、原典で確かめます。

5点のうち1つでも原典で確かめられないものは、文書から外すか、確認中と明記して出しましょう。確かめた日付と原典の場所を、文書の控えや社内のやり取りに残せば、後から問われたときに答えることが出来ます。セキュリティ面も含めた点検項目の全体は、生成AIセキュリティチェックリスト30項目で整理しています。

確認の役割分担のひな形｜作成者・確認者・承認者

確認の役割は、作成者・確認者・承認者の3つに分け、社外に出す文書では作成者以外の人が必ず1回は確かめる形をおすすめします。社員10〜200名の会社なら、新しい部署や役職を作る必要はありません。今ある上司と部下の関係に、次の役目を重ねるだけで始めることが出来ます。

• 作成者（AIを使って文書を作る人）AIを使った箇所と、確かめた原典を文書の控えに書き残します。チェックリストの5点を自分で一度確かめてから、確認者に渡します。
• 確認者（作成者以外の1人）数字・固有名詞・法令や条文・URL・引用元の5点を原典で見直し、確認した日付と名前を残します。対外文書では省きません。
• 承認者（社外に出す判断をする人）確認者の記録があることを見てから、社外に出すことを決めます。記録がない文書は差し戻します。

文書の種類ごとに、どこまで確認を通すかの目安も決めておきましょう。

• 社内のメモや下書きは、作成者だけで確かめれば足ります
• 社内の会議資料や報告書は、作成者に加えて確認者が5点を確かめます
• 顧客への回答・提案書・社外に公開する文章は、作成者・確認者・承認者の3人を通します
• 法令・契約・医療・金融に関わる文書は、3人に加えて、その分野に詳しい人や専門家の確認を通します

確認者を作成者と別の人にすることが、このひな形の要になります。作った本人は自分の文章の誤りに気づきにくく、AIの答えを一度信じた人ほど、読み返しても同じところで納得してしまいます。福岡の例のように確認を通しても誤りが残ることはありますが、確かめた人と日付が残っていれば、誤りが見つかったときに原因をたどることが出来ます。ルール文書全体の作り方は、生成AI社内ガイドラインの作り方で紹介しています。

誤りが後から見つかったときの初動

誤りが後から見つかったときは、責める相手を探す前に、その答えがどの文書に使われたかを洗い出すことから始めます。手順は次の4つの順番で進めてみてください。

1. 誤りの範囲を確かめる。誤っていた答えが、どの文書のどの箇所に使われたかを洗い出します。同じ質問から作った別の文書がないかも確かめます。
2. 社外に出た先を特定する。その文書を送った顧客・取引先や、公開したページを一覧にします。
3. 訂正の連絡をする。正しい内容と、誤りの影響を受けた箇所を先方に伝えます。大きな判断に使われた可能性があるときは、電話など早く届く手段も使います。
4. 再発を防ぐ手順を決める。どの段階で確認が抜けたかを振り返り、チェックリストや役割分担を見直します。

1つ目の洗い出しの手間は、AIの利用記録が会社に残っているかどうかで大きく変わります。会社のAI環境でログが残っていれば、残し方にもよりますが、誰がいつどんな質問をしてどの答えを受け取ったかをたどり、影響の範囲を確定させることが出来ます。個人のアカウントで使われていた場合は、会社から記録を見られないため、関わった可能性のある社員の方に1人ずつ聞き取るしかなくなってしまいます。記録がない状態では、どこまで訂正すれば終わりなのかを会社が判断出来ません。

聞き取りをするときは、AIを使ったこと自体を責めない姿勢をはっきり示しましょう。叱られると分かれば、社員の方は使ったことを言わなくなり、洗い出しがさらに難しくなります。

対策は承認済みの公認AIツールの提供と、利用マニュアルへの確認手順の明記

シャドーAIのハルシネーションを減らす近道は、会社が承認したAIツールを社員に配り、その利用マニュアルに確認の手順を書き込むことになります。環境とルールのどちらか一方だけでは足りず、2つを組み合わせて初めて、確かめた記録が残る流れが出来上がります。

禁止や監視だけでは減らない理由

AIの利用を禁止しても、手軽さを知った社員の方の利用はなくならず、私物のスマートフォンや個人のアカウントへ移っていきがちです。そうなると、会社からは使われていること自体が見えなくなり、確認の手順を決めても届く相手がいなくなってしまいます。監視の仕組みを入れても、見つけられるのは会社のネットワークや端末を通った利用に限られることが多いでしょう。業務を早く進めたいという社員の方の気持ちは変わらないため、使ってよい公認の場を用意するほうが、利用を明るみに出しやすくなります。

公認環境でログが残ると、後から確かめられること

会社が公認したAI環境で利用ログが残っていれば、誤りが見つかったときに、次のようなことを後から確かめることが出来ます。

• 誰が、いつその質問をしたか
• どんな質問をして、どの答えを受け取ったか
• 同じ時期に、似た質問をした社員の方が他にいないか
• どのAIを使った答えだったか

記録される項目は環境によって異なりますが、個人のアカウントで使われたAIでは、こうした確認はどれも会社から出来ません。ログは社員を疑う道具ではなく、誤りの範囲を確定させて正しく直すための記録になります。ログで記録する項目と月1回の確認手順は、生成AIの利用監視｜ログで記録する項目と月1回の確認手順で紹介しています。

利用マニュアルに書き込む確認手順と頼み方のひな形

公認のAIツールを配るときは、利用マニュアルに確認の手順を1ページで書き込み、最初の説明会で一緒に伝えるのがおすすめです。書く中身は、確認チェックリストの5点、作成者・確認者・承認者の役割分担、文書の種類ごとの確認の目安の3つで足ります。あわせてAIへの頼み方のひな形を配ると、答えの中から確かめるべき箇所を見つけやすくなります。次の文を質問の最後に付けるよう、マニュアルに載せてみてください。

回答の最後に、根拠にした資料の名前と、確認できるURLや条文番号を箇条書きで付けてください。
根拠が見つからない内容や、推測で補った内容は、その箇所に「推測」と書いてください。
最新の制度や数字は、Web検索で調べた結果にもとづいて答えてください。

ひな形を使っても、AIが示した根拠そのものが誤っている場合があります。示されたURLや条文は、チェックリストのとおり原典を開いて確かめましょう。会社が用意した環境でも確認の工程がなければ誤りが残ることは、デロイト豪州の例が示すとおりになります。

よくある質問

まとめ

シャドーAIのハルシネーションは、AIが誤ることそのものより、その誤りを会社の誰も確かめないまま資料や顧客への回答に混ざってしまうことに怖さがあります。答えは調べもの・メモ・社内資料・社外の4つの段階を通って広がり、社外に出る直前まで作った本人しか中身を知らない状態が続きます。

会社が把握していないIT全般をどう見つけて減らすかは、シャドーITとは？シャドーAIとの違いと会社での見つけ方で整理しています。

防ぐ手立ては、AIの答えを下書きとして扱い、数字・固有名詞・法令や条文・URL・引用元の5点を原典で確かめることです。作成者・確認者・承認者の役目を決め、社外に出す文書は作成者以外の人が必ず確かめる形にすると、責任の所在もはっきりしてきます。誤りが後から見つかったときに範囲を確定させるには、会社のAI環境で利用ログが残っていることが前提になります。禁止や監視で利用を見えなくするのではなく、公認のAI環境を配り、ルールとログで管理する形へ移すことから始めてみてください。

法人のAI活用に関する他の記事は、AI活用コラム一覧でご覧いただけます。