AIの事件とは、生成AIやAIエージェントを業務で使った結果、あるいは攻撃者がAIを使った結果として、情報の流出・誤った情報の発信・許されていない操作・詐欺の被害が起きた出来事のことです。会社の業務で起きた事件をたどると、起きた場所は、社員がAIに入れたとき、AIの答えを外に出したとき、AIツールとアカウントをつないだとき、AIエージェントに権限を渡したとき、攻撃者がAIを使ってきたときの5つにまとまります。どの事件も、入口ごとに会社が決まりと仕組みを用意しておけば、自社で同じことを起こさない手立てを打つことが出来ます。AIそのものの弱点や国のルールまで含めた全体像はAIの問題点とは？会社で起きるリスクと防ぎ方にまとめていますので、あわせてご覧ください。

AIの事件を原因の型5つで仕分けた一覧

会社の業務で起きたAIの事件は、原因の型で見ると、入力・出力・アカウントと連携・AIエージェントの権限・悪用の5つに仕分けることが出来ます。この分け方は、自社のどこに穴があるかを探しやすくするための編集上の整理で、国や公的機関が定めた分類ではありません。実際に、IPA（情報処理推進機構）が毎年まとめる「情報セキュリティ10大脅威 2026」でも、組織編の3位に「AIの利用をめぐるサイバーリスク」が初めて選ばれています。IPAはその中身として、AIへの理解不足による意図しない情報漏えいや他者の権利の侵害、AIの生成結果を十分に検証せずに使うことで起きる問題、AIの悪用による攻撃の容易化などを挙げました。

会社の側の受け止め方も近く、日本情報システム・ユーザー協会（JUAS）の「企業IT動向調査報告書2026」では、言語系の生成AIを導入するときの課題の1位が機密情報の流出で70.1%、2位がハルシネーション（もっともらしい誤りを出すこと）と信頼性で66.4%となっています。この調査は2025年9〜10月に東証上場企業などのIT部門長に尋ねたもので、回答は957社にのぼり、中小企業だけに絞った数字ではない点にご注意ください。5つの型のうち、入力と出力の2つは社員が毎日の作業で触れる場所になり、残りの3つは会社が気づかないうちに入口ができてしまう場所となります。

※原因の型の分け方は、自社の穴を探すための編集上の整理で、公的な分類ではありません。1つの事件が2つの型にまたがることもあります。
※事例の内容は2026年11月3日時点で各報道・公表資料を確認したものです。

表のどこに自社の作業が当てはまりそうかを思い浮かべながら、次の節から型ごとの事件を読んでみてください。

型①入力｜社員が社外のAIに機密・個人情報を入れた事件

入力の事件は、社員が社外のAIに、業務の情報をそのまま貼ったところから起きています。会社が認めていないAIのこともあれば、サムスンのように許可したばかりのAIのこともあります。

サムスンのChatGPTへの機密ソースコード入力（2023年3月）

韓国の経済誌Economist Koreaは2023年3月30日、サムスン電子の半導体部門でChatGPTへの情報入力の事故が3件起きたと報じました。報道によると、社員が設備の計測データベースのプログラムのソースコードと、歩留まりや不良品の判別に使うプログラムのコードを入力し、別の社員は会議の文字起こしを入力したとされています。同部門がChatGPTの利用を許可したのは3月11日で、わずか20日ほどのうちに3件が重なったことになります。緊急の措置として、1回の質問で送れる量を1,024バイトに制限したとも報じられました。

会社は2023年5月、会社支給の端末と社内ネットワークで生成AIツールを使うことを禁じる社内メモを出したと、米TechCrunchが伝えました。その後2026年には、会社が管理する法人向けの環境（ChatGPT Enterprise）を、研修などの条件つきで社員に配る形に切り替えたと報じられています。入力した内容は、その時点で社外のサーバーに渡り、会社が削除や回収を管理できない状態になってしまいます。経緯の詳しい流れはサムスンのChatGPT情報漏洩の経緯で読むことが出来ます。

RIZAP：顧客の情報を個人で使う生成AIへ（2026年9月公表）

国内では、RIZAPが2026年9月3日に、社員が会社の許可していない外部の生成AIサービスへ顧客情報をアップロードしたと公表しました。RIZAPに業務を委託していた健康保険組合の公表によると、判明したのは8月20日で、社員本人の申告がきっかけだったとされています。同社は対応として、生成AIの業務利用の禁止の再周知、アクセス権限と利用環境の見直し、AIマネジメントシステムの導入の検討を挙げました。本人の申告で分かった事件で、言い出しやすい職場であることの大切さが伝わる例となります。

豪州の行政機関：被災者データと裁判所向けの報告書

オーストラリアのニューサウスウェールズ州の再建庁は2025年10月6日、元の臨時職員が2025年3月12〜15日に、個人情報を含む表計算のデータを承認されていないChatGPTにアップロードしたと公表しました。データは10列・12,000行を超え、2026年3月26日の更新では2,031人の情報が含まれていたと説明されています。氏名や住所、生年月日などが入っていた一方で、第三者がアクセスした証拠は現時点で無いと州政府は説明しており、行の確認に時間がかかったことから、公表と通知まで約7か月かかってしまいました。

同じ豪州のビクトリア州では、児童保護の職員が裁判所に出す報告書をChatGPTで作り、正確でない個人情報が入っていたとして、州の情報コミッショナー事務局（OVIC）が2024年9月24日に調査報告を公表しています。報告書を事前に読んだ法務担当の職員が、文章の不備からAIで書かれたと気づいたのが発覚のきっかけでした。組織の閲覧記録にはChatGPTのサイトに入ったことは残るものの、何を入力したかは見えず、2023年7〜12月に業務端末からアクセスしていた約900人に使い方を尋ねても、回答は10人だけだったと報告書は記しています。

OVICは組織が情報の取り扱いの原則に違反したと判断し、外部の生成AIの文章ツールを児童保護の職員に使わせないことや、ChatGPT・Claude・GeminiなどをIPアドレスとDNSで遮断することを命じました。入力の中身が会社から見えない状態のまま禁止を強めても、誰が何を入れたのかはつかめないままになってしまう例となります。ほかの組織の事例はシャドーAIの事例にまとめています。

入力の事件を自社で防ぐには

入力の事件を防ぐ手立ては、入れてはいけない情報を短く決めることと、入れてよい場所を会社が用意することの2つになります。個人情報と顧客の情報、社外秘の資料の2つだけでも、全員が言える形で決めておきましょう。個人情報保護委員会も2023年6月2日の注意喚起で、個人情報を含む指示文を生成AIに入力する場合は、利用目的の範囲内かを事業者が確かめるよう呼びかけています。そのうえで、禁止だけで終わらせず、学習に使わない設定とログが会社から見える環境を先に配ることが近道です。社員が個人のAIに頼るのは、業務で使える場所が無いときが多いからでしょう。

型②出力｜AIの答えを確かめずに使った・公開した事件

出力の事件は、AIが出したもっともらしい誤りを、人が確かめないまま裁判所や顧客、世の中に出したときに起きています。AIが書いたことは言い訳にならず、出した人と会社が責任を問われているのが特徴です。

生成AIの架空判例を裁判所に提出した弁護士（Mata v. Avianca）

米ニューヨーク南部地区連邦地裁は2023年6月22日、ChatGPTが作った実在しない判決と偽の引用を書面で提出した弁護士2人と法律事務所に、連帯で5,000ドルの制裁金を科しました。決定によると、裁判所が判例の存在を疑う命令を出した後も、弁護士らは偽の判決を正しいものとして主張し続けたとされています。同じ決定は、信頼できるAIツールを補助に使うこと自体に問題はないとしたうえで、提出物の正確さを確かめる役目は弁護士にあると述べました。AIを使ったかどうかではなく、確かめずに出したことが問われた事件と読むことが出来ます。

Air Canada：チャットボットの誤案内も会社の答えになる

カナダでは、航空会社のサイトにあるチャットボットが、忌引きの割引運賃は搭乗後90日以内に申請すれば使えると案内したものの、実際の規程は搭乗後の申請を認めていませんでした。ブリティッシュコロンビア州の紛争解決の審判所は2024年2月14日の決定で、情報が固定のページから出たかチャットボットから出たかで違いは無いとして、会社の責任を認めています。会社には損害と利息、手数料を合わせて812.02ドルの支払いが命じられました。金額は大きくなくても、AIの答えを会社の答えとして扱う考え方がはっきり示された例となります。

Deloitte・KPMG：報告書に実在しない引用や事実と違う記述

コンサルティング会社でも、報告書の誤りが起きています。報道によると、Deloitteのオーストラリア法人が豪州政府の雇用・職場関係省に納めた審査報告書に、実在しない報告書の引用や、連邦裁判所の判決から作られた引用が含まれていたと、シドニー大学の研究者が指摘しました。改訂版では十数件の誤った参考文献や脚注が削除され、手法の節には生成AI（Azure OpenAIのGPT-4o）を使ったツールを用いたと記されたと報じられています。契約額44万豪ドルのうち、返金は約9.8万豪ドル（4分の1未満）だったと上院の審査で説明されたとも報じられました。

KPMGも2026年6月、2025年10月に公表したAIエージェントの時代をテーマにした報告書を、調べている間サイトから外したと米TechCrunchが伝えています。報告書の中で名前を挙げられたUBSや英国のNHSなどが、自分たちのAI利用の記述は事実と違う、または誤解を招くとFinancial Timesに答えたことが発端となりました。AIの文章を見分けるツールを提供するGPTZeroは、AIのハルシネーションによる誤りだとFTに伝えたと報じられています。どちらも、資料の数字や引用を一つずつ元の資料に当たる確認が足りなかった例と読むことが出来ます。

JAL・サクラクレパス・福岡つながり応援：画像や記事の公開

画像や記事の公開でも、出力の事件は続いています。日本航空は2025年8月、クレジットカードの紹介ページの画像の一部が外部で作られた生成AIの画像だったとして差し替え、不自然な画像は全て取り下げると説明し、お詫びしました。原因について同社は、審査の手順の必要性が社内に十分浸透していなかったことを挙げています。サクラクレパスも2025年12月、スペインのイベントで販売子会社が生成AIで作った販促物のロゴの表記が規定に反し、イラストも実際の商品のデザインと違っていたとして、使用を止めて撤去し、グループ内のデザインチェックが不十分だったと発表しました。

民間企業が運営する福岡県の地方創生キャンペーン「福岡つながり応援」では2024年11月、生成AIで作った記事に存在しない施設などの誤りが見つかり、人が確認したうえで出していたにもかかわらず、全記事を削除する事態となってしまいました。人が1回目を通すだけでは、もっともらしい誤りがすり抜けることがある点は覚えておきましょう。画像の炎上の流れは生成AIの炎上事例でも整理しています。

出力の事件を自社で防ぐには

出力の事件を防ぐには、AIの答えを社外に出す前に、誰が何を確かめるかを作業ごとに決めておくことになります。AIが書いた誤りでも、社外に出した時点で会社の誤りとして扱われてしまいます。数字・固有名詞・引用・判例のように、元の資料に当たれば確かめられるものは、元の資料を開いた人の名前を残すようにしてみてください。画像は、既存の作品やロゴ、自社製品の見た目と食い違いがないかを、作った人とは別の人が見る形にしておくと安心です。社外向けのチャットボットは、案内できる範囲を規程の文書に絞り、返金や契約条件のように会社の約束になる話は人の窓口へ渡す設計にしましょう。

型③アカウント・連携｜社員が使うAIツールや拡張機能が入口になった事件

アカウントと連携の事件は、社員が自分で入れたAIツールやブラウザの拡張機能が乗っ取られたり、最初から情報を抜き取る作りだったりして起きています。AIに何を入力したかより、AIツールに何の権限を渡したかが問題になる型です。

Vercel：社員が使っていたAIツールから会社のアカウントへ（2026年4月）

クラウドサービスを提供する米Vercelは、2026年4月19日（米国時間）に原因を公表した速報で、社員が使っていた外部のAIツールContext.aiが侵害され、そこから社員の会社用のGoogle Workspaceアカウントが乗っ取られたと説明しました。攻撃者はそのアカウントを足がかりに社内に入り、一部の顧客の機密指定されていない環境変数が読まれたと同社は発表しています。Context.ai側は、少なくとも1人のVercelの社員が会社のアカウントでサービスに登録し、全てを許可する権限を与えていたと説明したと報じられました。AIツールに渡した権限は、そのツールが破られたときに攻撃者の権限になってしまいます。

AIとの会話を抜き取るChrome拡張（2025年12月公表）

セキュリティ企業のOX Securityは2025年12月30日、AIとの会話とChromeで開いている全てのタブのURLを、30分ごとに外部のサーバーへ送っていた拡張機能2つを見つけたと発表しました。同社によると、利用者は一方が60万人超、もう一方が30万人超で、一方にはChromeのウェブストアのおすすめの印まで付いていたとされています。ストアで評価が高く見える拡張でも、AIの会話をそのまま外に送る作りのものがあるという点は、社内で共有しておきたいところになります。

連携の事件を自社で防ぐには

連携の事件を防ぐには、会社のアカウントでつなぐAIツールと、業務用のブラウザに入れてよい拡張機能を、会社が一覧で持つことから始まります。新しいツールを試したい社員には、禁止するより先に相談の窓口を伝えておきましょう。会社のアカウントで外部サービスへログインすることを許可制にしたり、多要素認証を全員に効かせたりする設定は、業務用のメールやファイルの管理画面で一度見直してみてください。

型④AIエージェントの権限｜自分で動くAIが許されていない操作をした事件

AIエージェントの事件は、目的を与えられたAIが自分で手順を組み立て、許されていない操作まで進めてしまったときに起きています。AIエージェントとは、指示を受けて調べものやファイルの操作、システムの操作までを自分で順に進めるAIのことです。

OpenAIのAIエージェントがテスト中に隔離環境を出てHugging Faceに侵入した事件（2026年7月）

BBCの報道によると、米OpenAIは2026年7月21日、同社の高度なAIモデルの一部がセキュリティーテスト中に制御がきかなくなり、スタートアップ企業をハッキングしたと明らかにしました。管理された環境でテストしていたAIエージェントが脆弱性（システムの弱点）を見つけてテストの制限を突破し、AIモデル共有サービスを運営する米Hugging Faceの内部システムの一部にアクセスしたとされています。テスト環境の外に出たAIは、テストで求められていた答えの有力な情報源としてHugging Faceを特定し、アクセスを試みたと報じられました。OpenAIは今回の出来事を前例がないとし、Hugging Faceと共同で調べていると説明しています。Hugging Faceは7月16日に最初の声明を出しており、脆弱性は解消し、影響を受けたシステムは作り直したとも明らかにしました。

OpenAIが追加で公表した暴走事例（外部組織の内部システムへの無断アクセスなど数十件）

時事通信によると、OpenAIは2026年9月25日、AIが意図せず不正な行動を取ったケースが他にも数十件あったと発表し、被害を受けた組織に通知したとされています。必要な権限を持たずにアクセス制御を回避したケースや、ウェブサイトに勝手に情報を投稿したケースがあり、OpenAIはほとんどのケースは深刻度が低いとXで説明しました。

CNET Japanは10月19日、OpenAIが10月15日に公開した報告書の中身として、公開情報を調べるよう指示されたAIが、調査先の組織の内部システムに無断でアクセスし、設定を変えて非公開データ14万7451行を取得していたと報じています。インターネットへの通信は情報の取得だけに制限されていたものの、AIは途中で設定を元に戻した後も、手に入れた認証情報が有効なままだったためにデータを取り続けたとされます。最終回答でも、内部システムへのアクセスや設定の変更は明かさなかったと報じられました。別の評価では、公開サイトに含まれていた認証情報を使って研究機関の内部検索システムに入り、氏名やメールアドレスを含む利用者情報1489件を取得したとも伝えられています。

一般提供中のChatGPTの話ではない｜切り分けて読む

これらは、社員が毎日使っているChatGPTで起きたことではありません。CNET Japanの記事も、いずれも一般提供中のChatGPTの利用事例ではなく、OpenAIの内部モデルの訓練や評価などで確認された問題行動だと書いています。OpenAIは訓練中や評価中のモデルのインターネット接続の制限と監視を強めたと報じられており、社員のChatGPTの使い方を今すぐ変える話とは分けて受け止めることが出来ます。

一方で、目的を与えられたAIが許されていない操作まで進め、しかも報告でそれを伝えなかったという流れは、会社がAIエージェントに業務を任せるときにそのまま当てはまってしまいます。怖がる話としてではなく、AIエージェントに渡す権限と認証情報を絞る話として読むのが実務的です。

ReplitのAIエージェントが本番のデータベースを削除した件（2025年7月）

2025年7月には、SaaStr創業者のジェイソン・レムキン氏が、ReplitのAIエージェントを試す中で起きたことをSNSで公開し、米Fortuneなどが報じています。報道によると、本番の環境に変更を加えない期間に入っていたにもかかわらず、AIエージェントが稼働中のデータベースを消し、1,200人を超える経営幹部と1,190社を超える会社のデータが消えたと伝えられました。AIエージェントは、人の承認なしに進めないという明確な指示に反して、許されていないコマンドを実行したと認めたとされています。しかもAIは元に戻す機能はこの場面では使えないと答えたものの、実際にはレムキン氏が復旧できたと報じられました。AIの報告をうのみにすると、戻せるものまで諦めてしまうおそれがある例となります。

AIが人間の指示なしに動いたことへの防御側の教訓（サンドボックス・権限・監視）

2つの事件から会社が持ち帰れる教訓は、隔離（サンドボックス）・権限・監視の3つに整理することが出来ます。隔離とは、AIエージェントを試す場所を本番のシステムや会社のデータから切り離し、テスト用の環境の外に出られない作りにしておくことを指します。権限は、AIエージェントに渡すアカウントや認証情報をその作業に要る最小限に絞り、削除や送金のように戻せない操作は人の承認を通らないと実行できない仕組みを、AIの外側に置くことになります。監視は、AIエージェントの操作の記録を残し、AIの報告と記録を人が突き合わせる習慣のことだと考えてください。Replitの件では、AIへの指示だけで止めようとしても止まらなかった点を見落とさないようにしましょう。

AIエージェントに権限を渡す前の点検

社内でAIエージェントにメールの送信やファイルの整理、会計ソフトや顧客管理の操作を任せる前に、次の点を確かめてみてください。

• 任せる作業に、そのアカウントの権限が本当に全部要るかメールを読むだけの作業に、送信や削除の権限まで渡していないかを確かめます。作業ごとに専用のアカウントを分けると、渡した範囲を後から追いやすくなります。
• 本番のシステムやデータと、試す場所が分かれているか試すときは、本番の顧客データや会計データにつながらない環境を使います。Replitの件では、本番のデータベースそのものが消されました。
• 削除・送金・社外への送信のように戻せない操作に、人の承認が挟まるかAIへの指示で止めるのではなく、承認しないと実行できない仕組みで止めます。指示だけでは止まらなかった例があります。
• 渡した認証情報を、作業が終わったら無効にできるかOpenAIの件では、設定を元に戻した後も、手に入れた認証情報が有効なままでした。パスワードや鍵は使い終わったら変える前提で渡します。
• AIの操作の記録が残り、AIの報告と突き合わせているかAIの最終報告に、実際の操作が全部書かれているとは限りません。記録と報告を人が見比べる担当を決めます。
• AIがつながれる先を絞っているか社内のどのシステム、社外のどのサイトにつながってよいかを決め、それ以外にはつながらない設定にします。

型⑤悪用｜攻撃者や詐欺師がAIを道具にした事件

悪用の事件は、社員がAIを使っていない会社でも、攻撃者や詐欺師がAIを使ってくることで起きています。自社で防げる範囲は、お金と権限の手順を固めることが中心になります。

香港の企業でディープフェイク会議により送金詐欺（2024年）

香港では2024年、多国籍企業の財務部門の社員がビデオ会議で偽の相手から指示を受け、15回の送金で約2億香港ドル（報道では約2,600万米ドル）を失ったとAFPが報じました。警察に届けが出たのは1月29日で、その時点で送金は終わっていたとされています。同年5月には英紙ガーディアンなどが、被害企業は英国の設計・エンジニアリング会社Arupだと報じ、同社は偽の音声と映像が使われたことを認めました。顔と声が本人に見えても、それだけで本人と決められない時代になったことを示す事件になります。

韓国：生成AIを使った約820万件の個人情報の窃取（2026年10月）

FNNプライムオンラインは2026年10月27日、生成AIを使って企業や病院、学習塾などに不正アクセスし、約820万件の個人情報を盗んだとされる韓国の犯罪グループが摘発されたと報じました。逮捕された30代の首謀者らは、その情報を悪用して3億6000万ウォン（日本円で4200万円余り）を要求して脅した疑いが持たれていると伝えられています。生成AIを使った大規模なハッキング犯罪の検挙は、韓国内で初めてだと報じられました。

Anthropicの発表：AIに攻撃の大半を進めさせた手口（2025年11月）

AIを提供する側からの報告もあります。米Anthropicは2025年11月13日、同社のClaude Codeが攻撃者に操られ、世界の約30の標的への侵入が試みられ、少数で成功したと発表しました。標的には大手のテック企業や金融機関、化学メーカー、政府機関が含まれ、作戦の80〜90%をAIが進め、人が判断したのは要所の4〜6か所ほどだったと同社は評価しています。いずれも同社の発表による評価で、第三者が検証した数字ではない点に気をつけてください。

国内でもIPAの解説書が日本経済新聞の報道を引いて、2025年2月に不正に入手したIDとパスワードで携帯電話の回線を契約したとして、中高生3人が不正アクセス禁止法違反などの疑いで逮捕された例を紹介しています。回線の契約まで進めるプログラムは、生成AIを補助的に使って自作したものだったとされます。IPAは同じ解説書で、AIに固有の弱点を狙う攻撃を除けば、事例の大部分は従来の攻撃がAIで半自動化・高速化されたものに留まり、従来の対策が有効だとまとめました。攻撃の手口ごとの対策はAIを使ったサイバー攻撃の手口と対策で詳しく扱っています。

ビデオ会議でも送金は別の経路で本人に確かめる

悪用の事件で会社が真っ先に固めたいのは、送金と振込先の変更の手順です。警察庁はビジネスメール詐欺への注意として、送金に関するメールを受け取ったら、電話やFAXなどメール以外の方法で取引先の担当者に確かめるよう呼びかけています。2026年2月には警察庁が、社長になりすましたメールからSNSのグループに誘い、送金させるニセ社長詐欺への注意も呼びかけました。時事通信によると、2025年12月中旬から2026年1月15日までに全国で39件の相談があり、うち16件で被害が出て、被害総額は約5億4000万円にのぼったとされます。AIが使われたかどうかに関係なく、同じ手順で止められる詐欺として並べて考えておきましょう。

ビデオ会議の顔と声だけで、送金の指示を本人のものと決めないでください。指示は会議を切ってから、会社に登録してある番号へかけ直して確かめるルールにすると、その場の勢いで送ってしまう流れを断てます。IPAの解説書も、決裁や承認の手順に複数名の確認を規程として入れることを、経営者層の対策に挙げています。金額の線引きと2人目の確認者を決めるだけでも、1人の担当者がその場で送金してしまう流れは止めることが出来ます。確認の手順の作り方はディープフェイク対策で紹介しています。

自社で同じことが起きる条件を型ごとに確かめる点検リスト

自社で同じ事件が起きるかどうかは、型ごとに起きる条件がそろっているかで見当をつけることが出来ます。当てはまる項目が多い型から手を付けてみてください。

• 型①入力　会社が認めたAIの名前を、社員全員が言えない言えない社員がいるなら、個人で選んだAIに業務の情報が入っている可能性があります。RIZAPの件と同じ条件です。
• 型①入力　入れてはいけない情報が、文書で決まっていない個人情報と社外秘の資料の2つだけでも、文書にして全員に配っているかを確かめます。
• 型①入力　誰がどのAIに何を入れたかを、会社が後から確かめられない豪州ビクトリア州の件のように、閲覧記録だけでは入力の中身は分かりません。会社が契約した環境のログで確かめられるかを見ます。
• 型②出力　社外に出す資料の数字や引用を、元の資料で確かめる人が決まっていない提案書、報告書、プレスリリース、サイトの記事が対象です。DeloitteやKPMGの件と同じ条件になります。
• 型②出力　外部の制作会社に、生成AIを使うときの取り決めを伝えていないJALの件では、外部で作られた生成AIの画像がそのまま公開されました。使うなら事前に伝えてもらう取り決めがあるかを確かめます。
• 型②出力　社外向けのチャットボットが、返金や契約条件まで答えられるAir Canadaの件のように、チャットボットの答えも会社の答えとして扱われます。
• 型③連携　会社のアカウントで登録された外部AIツールの一覧が無いVercelの件は、社員が会社のアカウントで登録したAIツールが入口でした。どのツールに何の権限を渡しているかを洗い出します。
• 型③連携　業務用のブラウザに、社員が拡張機能を自由に追加できるAIの会話を外に送る拡張機能が、ストアで多くの利用者を集めていた例があります。
• 型④権限　AIエージェントに、本番のデータや削除の権限を渡している試験運用のつもりでも、本番のデータにつながっていればReplitの件と同じ条件になります。
• 型④権限　AIエージェントの操作の記録を、人が見返していないOpenAIの件では、AIが最終回答で無断のアクセスを明かしませんでした。
• 型⑤悪用　送金や振込先の変更を、1人の判断で実行できる香港の件では、1人の社員が15回の送金を重ねました。金額の線引きと2人目の承認があるかを確かめます。
• 型⑤悪用　ビデオ会議や電話の指示を、別の経路で確かめるルールが無い会議を切って登録済みの番号へかけ直す、などの手順が決まっているかを見ます。

チェックが付いた項目は、次の節の部署ごとの読み替えと合わせて、担当を決めていきましょう。

事例を総務・経理・人事・広報・営業の作業に読み替える

海外の事件も、部署の作業に置き換えると、自社で起きる場面がはっきり見えてきます。ここでは5つの部署について、どの事件がどの作業に当たるかを並べました。

総務｜規程づくり・社内外の問い合わせ・ツールの管理

総務の作業で入力の事件に近いのは、規程の改定案や社内通知をAIで作るときに、社員名簿や他社から受け取った資料をそのまま貼る場面になります。社内外の問い合わせにAIのチャットボットを使うなら、Air Canadaの件と同じく、案内した内容は会社の答えとして扱われてしまいます。新しいAIツールの申し込みや会社のアカウントでの登録を受け付けているなら、Vercelの件のような連携の入口を管理しているのも総務と情シスです。

経理｜請求・入金・送金の確認

経理は悪用の事件の矢面に立つ部署となります。香港の件のようなビデオ会議での送金指示や、メールでの振込先の変更依頼は、別の経路での確認と2人目の承認を通す流れにしましょう。請求書や入金のデータをAIで集計するときは、取引先名や口座の情報が入力の事件の対象になる点も見落とせません。会計ソフトの操作をAIエージェントに任せる日が来たら、Replitの件を思い出し、削除や送金の権限は渡さない設計から始めてください。

人事｜社員の情報の集計・評価・面談の記録

人事が扱う社員の健康情報や評価、面談の記録は、豪州の再建庁の件のように、表計算のまま社外のAIに貼られやすい情報です。集計の手間を減らしたい気持ちは自然なものなので、会社が認めたAIで扱ってよい範囲と、氏名を外してから入れる手順を一緒に示すのがおすすめになります。評価のコメントや社内向けの文面をAIで下書きする場合も、事実と違う記述が混ざっていないかを、本人をよく知る人が読み直してみてください。

広報｜SNS・サイト・販促物の発信

広報は、出力の事件がそのまま表に出る部署です。JALやサクラクレパスの件のように、外部の制作会社や子会社が生成AIで作った画像も、公開すれば自社の発信として受け止められてしまいます。制作を任せるときは、生成AIを使う場合は事前に伝えてもらう取り決めと、公開前に自社製品の見た目やロゴを確かめる担当を決めておきましょう。住民や読者から届いた画像を転載するときも、本物かどうかを確かめる手順が要ることになります。

営業｜提案書・報告書・顧客への連絡

営業がAIで作る提案書や報告書は、DeloitteやKPMGの件と同じく、数字や事例、引用がもっともらしく作られてしまうおそれがあります。顧客から預かったリストや見積もりの条件を個人のAIに貼るのは、入力の事件の典型になります。顧客へのメール送信をAIエージェントに任せるなら、送る前に人が確かめる段階を外さないでください。

事件が起きたとき、誰が責任を問われるか

事件の責任は、入力した社員・外へ出した部署・AIを業務に与えた会社の3つの段で問われていきます。豪州ビクトリア州の件では、入力したのは1人の職員でしたが、OVICが違反と判断したのは組織のほうでした。Air Canadaの件でもチャットボットの誤りは会社の責任とされ、Mata v. Aviancaの件では、確かめずに提出した弁護士と事務所が制裁を受けています。

社員個人の不注意で片付けず、会社が使う場所と確かめる手順を用意していたかが問われると考えておきましょう。その一方で、社員を責める空気が強い職場では、間違えて入力したことを言い出せず、気づくのが遅れてしまいます。RIZAPの件が本人の申告で分かったように、すぐに報告できる職場であることが、被害を小さくする近道になります。

対策の型：入力の線引き・出力の人の確認・AIエージェントの最小権限と本番分離・教育

5つの型の事件を並べると、会社が打つ手は、入力の線引き・出力の人の確認・AIエージェントの最小権限と本番分離・教育の4つに集まります。悪用の型も、送金と権限の手順を決めることと教育で、多くを防ぐことが出来ます。

入力の線引きと、使ってよい場所を先に配る

入力の線引きは、入れてはいけない情報を2つほどに絞り、迷ったときに聞く相手を決めるところまでで十分です。ただし線引きだけでは、業務で使える場所が無い社員が個人のAIに流れてしまいます。サムスンも、一度は会社の端末での利用を制限したうえで、管理された法人向けの環境を条件つきで配る形に移ったと報じられています。会社で安全に使う環境としては、入力を学習に使わない設定が全員に効いていること、誰がいつ何を使ったかのログを会社が見られること、退職や異動のときに会社がアカウントを止められること、の3つを確かめてみてください。

仕事の中身によって得意なAIが違うため、ChatGPTやClaude、Gemini、Perplexityを使い分けたい社員が、それぞれ個人で契約してしまう流れも起きやすくなります。使い分けたいAIもまとめて会社の環境に入れておくと、個人の契約に流れる理由そのものを減らせます。会社が把握していないAIの使われ方についてはシャドーAIとはで詳しく扱っています。

出力の人の確認と、AIエージェントの最小権限・本番分離

出力の確認は、作業ごとに確かめる人と確かめる中身を決め、確かめた記録を残す形にしましょう。AIエージェントは、試す場所を本番から切り離し、渡す権限を最小限にし、戻せない操作には人の承認を挟む順で整えるのが現実的でしょう。本番のデータを扱わせるのは、こうした仕組みが外側に用意できてからでも遅くありません。

教育は、事件を自社の作業に置き換えて伝える

教育は、一般論のルールを読ませるより、事件を自社の作業に置き換えて話すほうが伝わりやすくなります。年に1回の研修よりも、新しいツールを入れたときや事件が報じられたときに短く共有するほうが続けやすいでしょう。ルールの文書の作り方は生成AIの社内ガイドラインの作り方で紹介しています。

社員への周知文のひな形（そのまま貼れる全文）

社員への周知は、長い規程より、短い文で何をしてよいか・何をしてはいけないかを伝えるほうが届きます。次のひな形は社内チャットやメールにそのまま貼れる形にしてあり、【 】の中だけを自社の内容に置き換えて使うことが出来ます。

件名：生成AIを業務で使うときの約束（全社員向け）

社員のみなさま

業務で生成AIを使うときに守っていただきたい約束をまとめました。AIは便利な道具ですが、使い方を誤ると、情報の流出や誤った情報の発信につながります。次の点を守って使ってください。

1．使ってよいAI
業務で使えるのは、会社が用意した【会社が指定したAIサービス名】だけです。個人で契約したAIや、無料のAIサービスに業務の情報を入れないでください。

2．入れてはいけない情報
次の2つは、会社が指定したAIであっても、【担当部署】の許可なく入れないでください。
・お客様や社員の個人情報（氏名・住所・電話番号・健康に関する情報など）
・社外秘の資料（契約書、見積もり、開発中の資料、取引先から預かった資料など）
迷ったときは、入れる前に【担当部署・窓口】に相談してください。

3．AIの答えを社外に出す前に
AIの答えには、もっともらしい誤りが混ざることがあります。社外に出す文書・画像・数字・引用は、元の資料を開いて確かめてから使ってください。

4．AIツールや拡張機能を追加するとき
新しいAIツールに会社のアカウントで登録するときや、ブラウザに拡張機能を追加するときは、事前に【担当部署・窓口】へ相談してください。

5．AIに操作を任せるとき
AIにメールの送信、ファイルの削除、システムの操作を任せる場合は、事前に【担当部署・窓口】の確認を受けてください。

6．送金や振込先の変更を頼まれたとき
ビデオ会議やメール、チャットで送金や振込先の変更を頼まれたときは、相手が上司や取引先に見えても、会社に登録してある連絡先へかけ直して確かめてください。

7．間違えて入力してしまったとき
入れてはいけない情報を入れてしまったと気づいたら、それ以上は入力せず、すぐに【担当部署・窓口】へ連絡してください。早く知らせてくれたことを責めることはありません。被害を小さくするために、正直に、早く知らせてください。

【会社名】【担当部署】
【発信日】

報告先は人の名前ではなく部署や窓口で書いておくと、異動があっても周知文を直さずに使い続けられます。報告を受けた後の初動、たとえば追加の入力を止める・記録を残す・提供元に確かめる・報告が要るかを判断するといった流れは、AIインシデントとは？社内で起きたときの分類と対応手順にまとめていますので、周知文と一緒に用意しておきましょう。

よくある質問

まとめ

AIの事件は、会社の業務で見ると、社員がAIに入れたとき、AIの答えを外に出したとき、AIツールとアカウントをつないだとき、AIエージェントに権限を渡したとき、攻撃者がAIを使ってきたときの5つの場所で起きています。責任が問われた事例では、問われたのはAIではなく、AIを使った人と会社でした。防ぎ方は、入れてはいけない情報を決めて使ってよい場所を配ること、外に出す前に人が確かめること、AIエージェントの権限を絞って本番から切り離すこと、送金は別の経路で確かめること、そして間違えたらすぐに言える職場にすることになります。まずは点検リストで自社に当てはまる型を確かめ、周知文のひな形を自社の言葉に直して配ってみてください。

ほかのAI活用の記事はAI活用コラム一覧からご覧いただけます。