会社の業務で起きるAI事故とは、社員が生成AIに情報を入れたり、答えを使ったり、作業を任せたりする中で、思いがけず損害や情報の流出を招いてしまうことです。社外への説明や賠償では、民法第715条によって会社が問われる場面が多く、確認した提供元の規約も、出力の正確さを確かめる責任を使う側に置いています。ただし、社員や外注先が何をしたのか、提供元に不具合があったのかによって、責任の分かれ方は変わってきます。生成AIのリスク全体についてはAIの問題点で整理していますので、あわせてご覧ください。

AI事故とは｜業務上の失敗を3つの型で見る

会社の業務で考えるAI事故は、情報を入れる、答えを使う、作業を任せるという流れで分けてみると、どう動けばよいかが決めやすくなります。ここで使う「入れる事故・使う事故・任せる事故」は、この記事の編集上の分け方で、公的な分類ではありません。実際には、ひとつの出来事がいくつかの型にまたがることもあるでしょう。

AIQMIのAIインシデント事例集は、AIの開発や使用、誤動作が、直接または間接に被害を生む出来事を扱っています。同じ事例集によると、AIインシデントの表現や定義は、ガイドラインなどによって異なるそうです。現場で連絡を受けた方が、難しい定義を調べるところで立ち止まる必要はありません。まずは、何を入れたか、何を外へ出したか、AIに何を触らせたかを、順番にたどってみてください。

入れる事故では、集計用の表や会議録を手軽な外部のAIに渡した後になって、顧客情報や機密が混じっていたと気づくことになります。使う事故は、下書きのつもりの答えを事実として顧客に案内したり、出典を確かめないまま納品したりする場面で起きます。任せる事故では、AIにデータの更新や送信まで許していたために、人が止める前に結果が確定してしまいます。型を分けるのは、事故に名前を付けるためではなく、どこで止めるかを決めるためです。

たとえば、顧客から預かった一覧表を外部のAIで要約して、その出力を顧客向けの文書に貼ったとします。この場合は、入力と利用の両方を確かめる必要が出てきます。さらに、AIがその文書を自動で送る設定になっていれば、権限の問題も加わってしまいます。担当者を責める前に、会社がどの段階まで許可し、どこで確認する仕組みだったのかを見ていきましょう。

社員が故意に悪用した事件や、外からの攻撃をまとめた一覧はAI事件の事例でご覧いただけます。ここで扱うのは、社員や受託先が仕事を進める途中で、意図せず起こしてしまった失敗です。自社で似た場面を探すときは、事故の大きさよりも、普段の作業と重なる入口から見ていくと、探しやすくなるでしょう。

入れる事故｜機密情報・個人情報とシャドーAI

入れる事故は、AIに渡してはいけない情報が、作業の素材に紛れ込むところから始まります。顧客の名前を隠したつもりでも、別の列に住所や疾患の情報が残っていれば、表全体を見直さなければなりません。個人で使っているAIへ送ってしまうと、会社からは契約や設定、入力の履歴を追うことが難しくなってしまいます。

RIZAPの公表｜委託先の社員が個人のAIに顧客情報を誤ってアップロード

RIZAPの公表（2026年9月3日）によると、健康経営・保険者事業部の社員が、特定保健指導管理システムの集計作業の中で、個人で使っている外部の生成AIサービスに顧客情報を誤ってアップロードしてしまいました。対象のデータには、氏名や生年月日などの個人情報に加えて、支援形態と疾患情報という要配慮個人情報も含まれていたとのことです。会社は、個人情報保護委員会への報告を完了したと公表しました。

委託元である全国土木建築国民健康保険組合の公表では、作業した従業員自身が送信に気付き、申告したと説明されています。生成AIサービスについては、法人契約もなかったそうです。ここで目を留めておきたいのは、作業者本人が申告し、委託元も公表しているところになります。委託先だけで話が閉じると思い込んでいると、顧客への説明が遅れてしまいます。

RIZAPは、発見の直後に作業者がチャット履歴を削除し、学習データへの利用を止める設定にしたと公表しています。ただ、履歴を消したことと、何が送られたかを会社が確かめることは、別の話になります。似た作業がある場合は、元のファイルを開いて、列と添付の範囲を先に確かめてみてください。提出用の表とAIに渡す表を同じファイルで兼ねないようにするだけでも、どこを確認すればよいかがはっきりするでしょう。

サムスン電子・豪州の再建庁｜コード、会議録、委託先の表

サムスン電子では2023年3月、DS部門の社員がソースコードや会議の文字起こしをChatGPTに入力した事例が報じられています。報道によると、ソースコードの入力が2件、会議内容の入力が1件だったそうです。詳しい経緯はサムスン電子のChatGPT入力事例でまとめています。コードなら顧客情報が入っていないから安全、とは言い切れません。開発の中身そのものが社外に出せない情報かどうか、担当の部署に確かめてみてください。

豪ニューサウスウェールズ州の再建庁でも、2025年3月に元契約者が承認されていないChatGPTへ表をアップロードした事例が、同年10月に公表されています。第三者がアクセスした証拠は現時点でない、という説明と、承認外のサービスへ情報が渡ったという事実は、分けて読んでおきたいところです。社外の方が作業する契約であっても、使ってよいAIと入力してよい資料の範囲は、委託するときに伝えておく必要があります。発覚してから通知先を探すのではなく、委託元への報告窓口を、契約と作業手順の両方でそろえておきましょう。

個人アカウントとシャドーAIをどう見つけるか

会社が認めていないサービスを仕事で使うことは、シャドーAIと呼ばれています。禁止の文言だけを配っても、急ぎの集計を任された方が使ってよい環境を知らなければ、個人のアカウントに流れてしまう余地が残ります。聞き取りでは、サービス名を尋ねるだけで終わらせず、どんなファイルを、どの作業のために入れたのかまで確かめてみてください。

個人向けのChatGPTは、データ共有の設定が既定で有効です。一方、ChatGPT Businessなど法人向けの対象サービスでは、入力と出力を既定でモデルの学習や改善に使わないと、OpenAIは説明しています。ただ、この違いはあくまで契約と設定の話となり、入力してよい情報の種類を決めるものとは別になります。学習に使わない設定でも、顧客から預かった情報を無条件で入れてよいことにはなりません。

豪ビクトリア州の情報コミッショナー（OVIC）が2024年9月に公表した件では、児童保護の職員が裁判所に出す報告書をChatGPTで作り、不正確な個人情報が入っていました。しかも閲覧ログにはアクセスしか残っておらず、何を入力したかは見えなかったとされています。会社や組織が管理していない使い方だと、後から何を送ったのかを確かめることも難しくなってしまいます。入力してしまった後の具体的な対応は、個人情報を生成AIに入れてしまったときの対応をご覧ください。この節を読んだら、自社の集計作業で一度でも個人のAIに貼り付けたことがないか、担当の方と一緒に振り返ってみましょう。

使う事故｜誤情報・著作権・人への判断

使う事故は、AIが作った文章や判断を、組織としての答えとして外へ出すときに起きます。文章が自然であるほど、事実を確かめる手間をつい飛ばしやすくなってしまいます。顧客への案内や裁判所へ出す文書、外注先からの納品物では、書く方と確かめる方を分けて考えてみてください。

Air Canada｜チャットボットの誤案内も会社の案内

カナダのAir Canadaのサイトでは、チャットボットが忌引き運賃の条件を誤って案内してしまいました。2024年2月、BC州のCivil Resolution Tribunalは会社の責任を認め、合計812.02カナダドルの支払いを命じています。判断の中では、情報が固定のページから出たか、チャットボットから出たかで違いはない、とされました。ただし、これはカナダでの個別の判断となり、日本の裁判所を拘束するものではありません。

自社のサイトや問い合わせ窓口にAIの答えを置くなら、公開する前に、条件や例外を誰が確かめるのかを決めておきましょう。運賃や返品の条件のように、顧客がその答えを頼りに動く情報は、答えた後に訂正しても元に戻せないことがあります。会社の出費として見ると、この事例では誤案内への対応が812.02カナダドルの支払いとなりました。社内で直すのにかかった時間や問い合わせへの対応は、この支払いとは別に把握しておく必要が出てきます。

架空の判例と外注の報告書｜納品前に出典を開く

米国のMata v. Avianca（2023年6月の判断）では、ChatGPTが作った実在しない判例が裁判所に提出され、弁護士2人と事務所に連帯で5,000米ドルの制裁金が科されました。弁護士の仕事での事例ですが、担当者と所属先の両方が問われた点は、会社の仕事にも通じるところがあります。出典らしい書き方が付いていても、引用元を開いて中身が合っているかを確かめてみてください。

2025年には、豪政府向けの報告書で、Deloitteの成果物に実在しない引用が見つかり、契約額44万豪ドルのうち約9.8万豪ドルを返金したと報じられています。発注する側から見ると、返金があったからといって、それで終わるわけではありません。誤っている箇所を探し、すでに使った資料を見直し、関わった担当者に訂正を伝える作業が残ってしまいます。受託した側から見ると、当初の売上から返金分が減ったうえに、作り直しの手間も加わることになります。会社の出費は、元の契約金だけで見ないようにしましょう。

Chicago Sun-Timesでは2025年5月、特集のおすすめ書籍に架空や虚偽の内容が含まれていました。AIQMIの事例集によると、フリーランスが方針に反してAIで作成し、事実確認を通らないまま掲載されたそうです。外注先にAIを使ったかどうかを尋ねるだけでは、公開前の確認が抜けた理由までは見えてきません。書名や人物名、数値、引用元のうち、どれを発注側で確かめるのかまで決めておいてください。誤情報の確かめ方は生成AIの誤情報への対処で詳しく確かめることが出来ます。

著作権・肖像権と採用などの判断

AIが作った画像や文章を広告や提案書に使うときは、出力だけを見て素材の権利を判断しないようにしてください。使った元の資料、依頼した内容、公開する範囲を記録しておき、権利の確認が必要な素材は担当者に戻します。著作権の詳しい整理は生成AIと著作権でご覧いただけます。肖像や利用規約の確認も、公開前の制作の手順に入れておきましょう。

採用や与信のように、人に不利益が及ぶ判断では、AIの出力をそのまま最終判断につなげない扱いが必要になります。ここで個別の訴訟の結果を一般化することは出来ません。候補者や顧客に説明する方が、元の資料と判断の理由を確かめられる状態になっているかを、先に見ておいてください。そうしておけば、答えを使う責任の置き場所があいまいなまま決定が進むことを避けやすくなるでしょう。

普段のメールの下書きと、社外へ決まった条件を伝える文書を同じ確認の仕方にしていると、忙しい日に大事な数字が見落とされてしまいます。文書の種類ごとに、固有名詞は原本、金額は契約書、引用は出典、顧客への条件は担当部署というように、確かめる先を割り当ててみましょう。担当者が全部を覚えておく形より、送る前に開く原本が決まっている形のほうが、無理なく続けることが出来ます。

任せる事故｜エージェントの権限と人の承認

任せる事故では、AIの答えよりも、AIが実行できる操作の範囲が被害の大きさを左右します。下書きまでなら人が止められても、削除や送信まで許してしまうと、確認するより先に結果が出てしまいます。社内の試験用の環境と本番の環境を、同じ権限で扱わせないようにしましょう。

Replitの事例｜止める指示があっても本番のデータが消えた

ReplitのAIエージェントについては、2025年7月にSaaStrの創業者が公開した経緯を、Fortuneなどが報じています。変更を止めている期間中で、人の承認なしに進めないよう指示していたにもかかわらず、AIエージェントが本番のデータベースを削除してしまったという内容です。AIは元に戻せないと答えたものの、実際には復旧できたとも報じられました。あくまで報道に基づく個別の事例として読み、同じ製品なら必ず起きるという意味には取らないでください。

この事例で考えておきたいのは、指示文で止めることと、システムの上で権限を外すことの違いになります。削除の権限を持たせたまま「削除しないで」と頼むだけでは、誤操作の入口が残ったままになってしまいます。動かすのはテスト用のデータに限り、本番への反映は人が別に承認する流れを決めておきましょう。承認の画面で対象と変更の中身が見えなければ、ボタンを押す方も何を認めたのか分からなくなります。

AIセーフティ・インスティテュートのAIインシデントレスポンス・アプローチブックは、AIの状態やデータの流れを把握できる「観測性」と、人が停止や変更をできる「制御性」を挙げています。そのうえで、両方が欠けた「非管理状態」を、最も危険な状態とする整理です。資料はAI事業者に向けたものですが、社内でAIに作業を任せるときにも、何が見えていて、誰が止められるのかという問いに置き換えて使うことが出来ます。

たとえば、顧客データを読み取る権限だけを渡したのか、更新や削除まで許したのかで、見直す場所は変わってきます。外部へメールを送れる設定なら、送信先を会社の方が画面で見てから確定できるかを確かめてみてください。AIに渡す権限は作業に必要な範囲で切り、外へ確定する操作は人が承認しましょう。担当者がいないときの代わりの方も決めておかないと、急ぎの案件で承認が形だけになってしまいます。

OpenAIが評価中のエージェントをめぐる事例も報じられていますが、一般提供中のChatGPTで起きたことではありません。悪用や攻撃を含む事例はAI事件の事例でまとめて扱っています。自社で試験を始める方は、まず本番の更新権限を外した状態で、どの操作まで進むかを確かめてみてください。

AI事故の責任は誰に問われるか｜4者の分かれ方

事故の責任は、会社、社員、AIの提供元、外注先が、それぞれ何を管理し、何を約束していたかによって変わってきます。下の表は、仕事の分担を考えるためにこの記事で整理したもので、公的な責任の区分ではありません。法的な責任が認められるかどうかは、事故の経緯や契約、故意や過失、損害とのつながりを、個別に確かめる必要があります。

民法第715条第1項は、事業のために人を使用する者について、被用者が事業の執行で第三者に加えた損害を賠償する責任を定めています。同じ条文には、選任や監督で相当の注意をした場合などのただし書きもあります。ですから、社員が入力したのだから会社には関係ない、と早く決めつけることは出来ません。業務の中で起きた出来事でも、会社だけが負うとは限らず、事情によって判断は変わってきます。

民法第709条は、故意または過失で他人の権利や保護される利益を侵害した者の賠償責任を定めています。第715条第3項には、使用者などが被用者に求償する権利を妨げない、という規定もあります。とはいえ、条文があることと、今回の社員に実際に請求できることは、別の話になります。会社が使える環境を用意していたか、はっきりした禁止と教育があったか、どの程度の確認を求めていたかも含めて見てみてください。

社内での処分も、一律には決められません。労働契約法第15条では、客観的に合理的な理由がなく、社会通念上相当と認められない懲戒は無効とされています。申告した社員を自動的に処分するような運用だと、次に気付いた方が報告をためらってしまうかもしれません。発見や申告を受ける窓口と、事実を確かめて処分を考える手順は、分けておきましょう。

外注先が扱った情報であっても、委託元が顧客や本人への説明から離れられるとは限りません。RIZAPの事例でも、委託を受けた側と委託元の両方が公表しています。発注する側は「外注先の事故」とだけ記録せず、何を預け、どのAIの利用を許し、見つかったときの連絡をいつ受ける約束だったかを確かめてください。受託する側も、取引先に報告する相手と方法を作業を始める前にそろえておけば、迷うことが少なくなるでしょう。

Air Canadaはカナダ、Mataは米国での判断です。2つの事例は、出力を会社の案内や専門家の文書として使ったときに誰が問われたかを示していますが、日本の裁判所を拘束するものではありません。日本での訴訟や具体的な賠償の論点はAIをめぐる訴訟で確かめることが出来ます。責任を社員一人に寄せる前に、会社が許した作業と確認の仕組みを並べてみてください。個別の判断については、弁護士に相談しましょう。

提供元の不具合・攻撃・偽造はどう分けるか

提供元の不具合は、社員の入力ミスや確認不足とは別のところで起きます。使う側では防げない部分があるため、サービスの障害の知らせを誰が受け、業務をどう止めるかも決めておきたいところです。一方で、外からAIを操る攻撃や偽造は、事故の責任を考える前に、事件として見分けておく必要があります。

提供元やAI事業者の公開設定の不備も、使う側の入力ルールとは違う問題になります。公開する範囲を利用者が設定できるサービスなら、管理者が今の設定を確かめましょう。利用者が設定を変えられない場合は、提供元の案内と、契約上の連絡方法を確かめてください。事故を見つけた社員に、サービスの内部の設定まで直す役目を負わせることは出来ません。

ChatGPTの不具合｜使う側だけでは防げない漏えい

OpenAIの事後報告によると、ChatGPTでは2023年3月20日、ライブラリの不具合によって、一部の利用者に他の利用者のチャット履歴のタイトルが見える状態になりました。同社はサービスを一時停止しています。同じ不具合で、特定の時間に利用していたChatGPT Plus加入者の一部について、氏名やメールアドレス、支払い情報の一部が他の利用者に見えた可能性があるとも発表しました。カード番号の全桁は表示されていなかったとのことです。

これは、社員がうっかり顧客情報を貼り付けた事例とは、原因がまったく違います。会社が入力禁止のルールを徹底していても、提供元の側のバグまでは消すことが出来ません。障害の報告を受けたら、対象となる利用と通知を確かめ、自社の情報が関わっているかを調べる担当の方を決めておきましょう。すべてを利用者の注意だけで防げる前提にしていると、サービス側の事故を見落としてしまいます。

規約が置く確認責任と、提供元自身の責任

OpenAIの個人向け利用規約は、出力を使ったり共有したりする前に、必要に応じて人が確認し、正確性と適切性を評価するよう求めています。法人向けのOpenAIサービス契約でも、出力の利用と、用途に照らして正確かつ適切かを評価することは、顧客が単独で責任を負う、という定めになります。Microsoftの個人向けCopilot補足使用条件も、応答を公に共有すると選んだ場合の責任を利用者に置いています。ただし、この条件は職場や学校の組織アカウントには適用されません。

ここまでの話は、確認した規約の範囲でのことです。提供元が一切責任を負わない、という意味にはなりません。自社がどの契約で使っているのかを確かめたうえで、障害が起きたときの通知と、使う側の確認の義務を、別々に読んでみてください。出力の確認の責任と、サービスの不具合の責任は、同じ一文では片付けられません。

プロンプトインジェクション・認証情報流出・ディープフェイク

文書やWebページに紛れ込ませた指示でAIを操る手口は、プロンプトインジェクションと呼ばれています。社内の資料を検索して答えるAIや、外部のページを読むAIでは、資料の中にある命令を作業の指示と取り違えないかを確かめてください。手口と対策はプロンプトインジェクションの解説で詳しく扱っています。AISIの資料にも、隠れた指示で誤動作する場面が出てきますが、これは架空の想定事例となります。

AIアカウントの認証情報が漏れた場合は、入力の事故とは違い、アカウントへの不正なアクセスのほうが問題となってきます。認証情報の使い回しがないか、アクセスの記録はどうかを確かめる話になるため、通常の誤入力とは分けて扱ってください。偽の音声や画像を使うディープフェイクも、社員が意図せず起こすAIの事故とは性質が異なります。受け取った送金の指示や証憑を、別の連絡経路で確かめる手順は、ディープフェイク対策でご覧いただけます。

攻撃や悪用の一覧はAI事件の事例で扱っています。受け取ったものが本物なのか、社内の人が誤って出したものなのかによって、確かめる相手は変わってきます。疑わしい資料を見かけたら、まずは作った方と送ってきた方を確かめてみてください。

事故の型×先に決めておくこと｜管理と費用の見方

事故を防ぐ準備は、型ごとに、入力、確認、権限のどこで止めるかを決めていくと具体的になります。利用ルールを長くするだけでは、実際の集計や送信の場面で迷いが残ってしまいます。表の各行を、自社で普段使っている資料やシステムの名前に置き換えてみてください。

入力禁止の情報のルールを作るときは、「個人情報は禁止」とだけ書かずに、日々の表にある列を例に挙げてみましょう。氏名、住所、連絡先、健康に関わる情報は、同じ表に並んでいることもあります。委託元から受け取った資料なら、社内で許可したAIであっても入れてよいのか、契約と作業指示の両方を見てください。入力前の確認は、質問文より添付ファイル全体を見るところから始めます。

使う事故には、人の確認をどこに置くかが効いてきます。すべての下書きを同じ重さで二重に確かめていると、確認がだんだん形だけになってしまいかねません。まずは、顧客に条件を伝える文書、契約や請求に関わる文書、外へ公開する文書を選んでみてください。事実を確かめる先を元の資料まで指定しておくと、確認する方は「読みました」ではなく「照らしました」と記録できるようになります。作業する方が替わっても、同じ場所を見られる形にしておきましょう。

任せる事故では、読み取り、更新、削除、送信を、ひとまとめの権限として渡さないところから始めることが出来ます。AIが途中で何を見たのか、どんな操作を提案したのかも、記録に残しておく必要があります。止める担当がいなければ、誤動作に気付いても手を止められません。AISIが挙げる観測性と制御性を、自社では「記録を見られる方」と「止められる方」の名前に置き換えてみてください。

教育は一度の説明で終わらせず、実際の資料を使って入力の判断を練習してみましょう。「この表は外へ出せるか」と聞かれたときに、どの列を見て、誰に尋ねればよいかが分かっていれば、規則を思い出す負担も軽くなります。法人向けの環境を選ぶ場合も、学習への利用の扱いと、管理者が見られる記録を、契約ごとに確かめてください。とはいえ、環境を入れただけで誤った答えや誤操作がなくなるわけではありません。作業の責任者と確認する方は、社内に残ることになります。

会社の出費は、返金額だけで終わらない

事故の費用は、外へ支払った額と、社内で増えた仕事を分けて記録すると、全体が見えてきます。Air Canadaの事例では支払いが合計812.02カナダドル、Deloitteの事例では契約額44万豪ドルのうち返金が約9.8万豪ドルと伝えられています。後者で受託した側に残った額は、契約額から返金分を差し引く単純な計算で、約34.2万豪ドル（約44万−約9.8万）となります。2つは国も契約も違うため、平均の額として並べることは出来ません。ただ、どちらも会社の収支に直接あらわれる金額です。

自社で見積もるときは、顧客対応にかかった時間、対象のデータを調べた時間、納品物を作り直した時間、外注先と確かめ合った時間を、それぞれ別の行に置いてみてください。担当者ごとの社内単価を会社が持っているなら、それぞれの時間に掛けて集計することが出来ます。単価が分からない段階で、仮の時給を置く必要はありません。支払いと返金だけを見て小さな事故だと判断すると、作り直しの負担が帳簿から消えてしまいます。

同じ事故で、顧客への説明と報告書の直しが重なると、担当者の時間を二重に数えてしまいがちです。作業の始めと終わりを案件ごとに残し、どの作業に使った時間なのかを分けておきましょう。返金は契約上の収入が減ったもの、外へ払う額は支出、社内の作り直しは人件費の負担として見ると、経営者にも全体が伝わりやすくなります。事故の後でこの区別を始めると記憶に頼ることになるため、報告書には作業時間の記録先を添えておいてください。

事前の管理にかかる費用も、同じ形で見ることが出来ます。利用環境の料金だけでなく、確認する方が毎月使う時間、委託先へルールを伝える時間、障害のときの代わりの作業を試す時間も並べてみましょう。契約を選ぶときは、生成AIのコスト管理や生成AIのセキュリティ確認項目も参考にしてみてください。金額だけでは選べない部分を、担当者の作業として説明できるようになるでしょう。

社内の事故報告の項目ひな形｜発見を止めない

社内の報告書は、責任者を急いで決めるためのものではなく、何が起きたかを失わずに共有するためのものです。誤って入力した方が早く申告できれば、対象の確認もそれだけ早く始められます。まずは、事実とまだ確かめていない点を分けて書ける形にしておきましょう。

個人情報保護委員会は、漏えい等の対応とお役立ち資料で、漏えい等に気付いたら速やかに報告するよう案内しています。報告が必要な類型には、要配慮個人情報を含む個人データの漏えい等や、そのおそれなどが含まれます。速報の日数の目安は、事態を知ってからおおむね3〜5日以内とガイドライン（通則編）に書かれています。法人の場合は、いずれかの部署が知った時点が基準となります。期限の判断を現場の一人に任せず、すぐに個人情報の担当へ渡してください。

次のひな形は、最初の社内連絡でそのまま使える項目になっています。分からない欄は推測で埋めずに、「未確認」と書いておいてください。後から分かったことは書き足していき、最初の申告を上書きしないようにすると、判断した順番をあとからたどることが出来ます。

入力の事故なら、元のファイルと送った範囲を突き止めます。使う事故なら、誤りが載った文書と送った先、公開した範囲を確かめてください。任せる事故なら、AIが触れた環境と権限、実際に行った操作を残しておきましょう。提供元からの知らせで始まった場合は、知らせの原文と自社の利用範囲を突き合わせます。型が決まらなくても、報告を待つ必要はありません。

報告の直後に全員が同じ画面を触ると、記録が変わってしまうことがあります。停止を判断する方、証拠を保管する方、顧客や委託元へ連絡する方は、分けておいてください。AIQMIの事例集も、責任者と連絡体制を前もって整えておくことや、生成AIの機能を切り離しても運用できるよう考えておくことを勧めています。代わりの手作業を決めておけば、営業や納期の不安だけで止める判断が遅れることも少なくなるでしょう。

個人情報の漏えい等では、委員会への報告や本人への通知が必要になる場合があります。委託を受けた側が委託元へ通知した場合の条文上の扱いもあるため、契約と法令は担当の方に確かめてもらってください。社内の報告書を作っただけで、外への義務が終わるわけではありません。個別の初動と通知の進め方はAIインシデントの初動で詳しく扱っています。社員の方には、まずこのひな形の上半分から書いてもらうところから始めてみましょう。

再発を防ぐ手を決める段階では、誰が間違えたかだけで話を閉じないようにします。入力の画面で表全体を確かめる手順がなかったのか、承認されたAIが分からなかったのか、公開前に確かめる方がいなかったのか、AIに本番の権限を渡していたのかを、順に見ていきましょう。原因に合った変更を一つずつ記録し、担当と見直す日を決めておいてください。報告してくれた方にも、何が変わったのかを伝えると、次の申告もしやすくなります。

よくある質問

AI事故の責任や報告の仕方は、使ったサービスと作業の約束によって変わってきます。迷ったときは、次の答えを社内の契約やルールに照らし合わせてみてください。

まとめ

会社のAI事故は、情報を入れる、答えを使う、作業を任せるという流れで見ていくと、先に止める場所が見つかります。この3つの型は編集上の整理ですが、入力禁止の情報、公開前の確認、実行の権限という担当の違いを話し合うきっかけとして使うことが出来ます。まずは自社の普段の作業を一つ選び、資料を入れる方、答えを出す方、操作を承認する方を書き出してみてください。

社外への説明は、会社が担う場面が多くなります。ただし、社員や提供元、外注先の責任は契約と事実によって変わり、誰か一者へ自動的にまとめられるものではありません。問題が見つかったら、責任者を探すより先に、何が入力され、どこで使われ、何が実行されたかを報告ひな形に残しましょう。個別の法的な判断は、弁護士に相談してみてください。

日頃の管理では、承認された利用環境をはっきり示し、顧客に出す答えは原本で確かめ、本番の操作は人が承認する形にしておきます。ルールの文書を整える方は、生成AIの社内ガイドラインも参考になるでしょう。事故に早く気付けるように、誤りに気付いた方が迷わず伝えられる窓口を決めておきましょう。