
オンプレミス生成AIとは、自社が用意した環境にAIを動かす基盤と業務データを置き、自社で運用する形になります。データを外部ネットワークへ出せない明文の条件があり、機器を運用できる担当者もいるなら、オンプレを検討する理由があります。そうした条件がなく、国外保存を避けたいだけであれば、国内リージョンを使うクラウドの法人向けサービスで足りる場合もあるでしょう。見分けるときは、保存場所だけでなく、AIが処理する場所とログの扱いまで分けて確かめてみてください。
オンプレミス生成AIとは|クラウドとの境界を決める
オンプレミス生成AIは、AIの計算を担う機器と業務データを、自社が管理する環境に置く使い方になります。社員が画面から質問を入れると、社内のサーバーでモデルが回答を作る、という形が基本です。外部サービスへ文書を送れない契約や、ネットワークを分ける条件がある会社なら、検討してみる理由が出てきます。
ここでいうオンプレミスは、社員のパソコンで小さなモデルを試すこととは少し違います。複数の社員に業務用として使ってもらうなら、同時利用に耐えるサーバー、利用者の認証、障害時の対応まで必要になるためです。ローカルLLMという言葉の全体像はローカルLLMとはで詳しく説明しています。モデルを自分の機器で動かすことと、会社のサービスとして運用することの差を、頭の片隅に置いてみてください。
完全閉域は、社内ネットワークからインターネットへつながない構成を指します。社内文書を探して回答に添えるRAGも、この形で組むことが出来ます。RAGは、質問に関係する文書を検索し、見つけた情報をモデルへ渡す仕組みです。ただし閉域を選ぶと、外部のWeb検索をそのまま使うことは出来なくなります。NSDの製品解説でも、同社製品の完全閉域構成ではRAGは使える一方、OCR、コードインタープリター、インターネット検索は使えないと案内しています。機能の制約は製品ごとに違いますので、社内で必要な作業を先に並べてみましょう。
※閉域構成の機能は、NSDの2026年10月20日付の解説記事にある同社製品の説明です(2026年11月15日確認)。ほかの製品へそのまま当てはまる内容ではありません。
サーバーだけ社内に置き、AIモデルの処理はクラウドに送る形もあります。専用の閉域クラウドを使う方法も選べます。どちらも現場ではオンプレに近い選択肢として語られますが、質問文がどこを通るかは違ってきます。自社に機器があるかより、入力した情報が外へ出る範囲を確かめることが先になります。モデルをクラウドで動かす構成なら、サーバーが社内にあっても、その送信経路は確かめておきたいところでしょう。
クラウド型は、事業者の設備を契約して使う形です。機器の調達と保守を事業者に任せやすく、使い始めるまでの準備も軽く済みます。一方で、どの地域で内容が保存され、どの地域で処理されるかは、契約やモデルによって変わってきます。比較の基礎を広く読みたい方は、ローカルLLMとクラウドLLMの比較も参考になります。
機密があるという一言だけでは、オンプレを選ぶ理由はまだ決まりません。社内規程で外部送信を禁じているのか、顧客との契約で保存場所が決まっているのか、学習への利用を避けたいのかで、答えが変わります。担当者の方が最初に確かめたいのは、守りたい対象と禁止されている処理の組み合わせです。ここを曖昧にしたまま機器を買うと、必要な対策は残ったまま、運用費だけが増えてしまいます。
オンプレの利点は、情報の通り道を自社で決められることです
完全閉域にすれば、対象の文書を外部サービスへ送らずに処理することが出来ます。外へ送ることで起きる漏洩の経路を減らせますし、データの保管と削除も自社の手順で決められます。データ主権を大事にする会社にとっては、ここが利点になります。ただし、社内のアカウント管理や誤った公開設定までは、自動で防いでくれるわけではありません。
既存システムとつなぐ範囲を自社で設計できるのも利点です。たとえば社内の文書検索とモデルを組み合わせれば、外部へ文書を送らずにRAGを組む方向も考えられます。開発と保守の担当が必要になるので、連携したい業務と担当者を一緒に決めておきましょう。利用が長く続けば、機器の費用を複数年に分けて考えることも出来ます。ただ、それでクラウドより安くなるとは言い切れず、電力や人件費、更新費まで含めて比べる必要があります。
オンプレ・国内クラウド・一般のクラウドを比べる
比べるときは、オンプレとクラウドの二択にせず、国内に保存できるクラウドの法人向け契約も横に並べてみてください。保存・推論・ログの範囲がそれぞれ違うため、国内リージョンという言葉だけで選ぶことは出来ません。次の表は製品の優劣ではなく、契約の前に確かめたい場所をまとめたものになります。
| 比べる点 | 自社で動かすオンプレ | 国内リージョンを使うクラウド法人向け | 地域を指定しないクラウド |
|---|---|---|---|
| 業務データ | 自社が設計した保存先と経路で管理 | 国内に置ける対象と例外を契約ごとに確認 | 提供元が示す地域と経路を確認 |
| AIの処理 | 完全閉域なら社内の機器で処理 | 国内保存でも推論まで国内とは限らない | 地域指定の有無とモデル別の経路を確認 |
| 導入と運用 | 機器調達、構築、更新、障害対応を自社で持つ | 事業者の基盤を使い、契約と設定を確認 | 同左。管理できる範囲は契約による |
| モデルの更新 | 採用と入れ替えを自社で判断 | 提供元と対象モデルの対応を確認 | 提供元と対象モデルの対応を確認 |
| 費用 | 機器・構築と継続運用を分けて見積もる | 月額や利用量と契約条件を確認 | 月額や利用量と契約条件を確認 |
たとえば、ChatGPTの地域データ保存には日本が含まれています。ただし、確認できた対象はAPIの対象顧客と、新規のChatGPT Enterprise/Eduになります。BusinessやPlusで日本保存を選べる、という意味ではありません。日本での推論先を固定する機能も、確認した時点の対象地域には入っていませんでした。ログイン情報や請求情報のように、地域データ保存の対象外となる情報もあります。サービスごとの範囲は生成AIの国内リージョンの違いで詳しく整理しています。
Amazon Bedrockも、日本国内で完結できるかどうかはモデルごとに違います。東京・大阪で使えるモデル、という言い方だけでは、In-Region、Geo、Globalのどの経路を通るかまでは分かりません。AzureのAI基盤も、Global、Data Zone、地域型で処理する場所が変わります。Data ZoneのAPACは日本専用ではないので、国内に限る要件とそのまま結び付けることは出来ません。候補のモデル名とデプロイ方式まで、資料に書いてもらうと安心でしょう。
保存場所と処理場所の食い違いは、法人向けサービスでも起こります。Microsoft 365 Copilotは、日本でサインアップしたテナントのやり取りを、保存時に日本の地域へ置くと案内しています。ただ、これは保存の話で、推論する場所の説明ではありません。Google Workspaceのデータリージョンは、確認できた選択肢が米国・EU・指定なしの3つで、日本は選べない形です。Claude APIも、直接契約で指定できる推論地域は米国かグローバルで、地域データ保存を説明する別の製品ページとは対象の範囲が違います。製品名でひとまとめにせず、実際に使う契約と機能を揃えて比べてみましょう。
※地域の対応は、ChatGPT・Claude・Microsoft 365 Copilot・Google Workspace・Azureを2026年9月28日、Amazon Bedrockを同年9月17日に各公式資料で確認した内容です。契約や対象モデルを決める際は、最新の公式資料で再確認してください。
クラウドへ入力した文が学習に使われるかどうかも、また別の問いになります。OpenAI APIは、明示的に共有を選んだ場合を除いて、送信データをモデルの訓練や改善に使わないと説明しています。その一方で、不正利用を監視するログは既定で最大30日保持されます。Azure OpenAIも、入力と出力をOpenAIやほかのモデル提供者が利用できず、許可なく基盤モデルの学習に使わないと公式に説明しています。学習に使われないことと、データが国内だけに保存されることは別の条件になります。両方が必要なら、契約書と製品資料でそれぞれ確かめてください。
※学習利用と保持期間の説明は、2026年10月16日時点で各社の公式資料を確認した内容です。契約形態や個別の保持設定によって範囲が変わります。
国内の事業者が提供する法人向けサービスでも、つながる先のAI提供元まで同じ地域で動くとは限りません。事業者が管理する画面の会話履歴は国内にあっても、モデルへ送るときの処理経路は別、という形もありえます。事業者に質問するときは、会話履歴、入力本文、生成結果、運用ログを分けて聞くと、回答を比べやすくなります。国内サーバーという言葉がどこまでを指すのか、図で示してもらいましょう。
導入の手軽さと、モデル更新の速さも一緒に見ておきたいところです。オンプレでは、モデルや周辺ソフトを選んで更新を試す人が必要になります。クラウドなら機器の管理を任せられる代わりに、提供元が選んだモデルや利用条件に従う形です。新しいモデルを使いたい部署が多い会社ほど、オンプレの機器を入れるだけで要望に応えられるかを確かめる必要があります。反対に、モデルを固定して同じ業務を長く動かすなら、更新が少ないことをそのまま不利と考える必要はないでしょう。
機密が心配なときに、先に確かめたい情報の種類と経路
機密への不安は、情報の種類と禁止されている扱いに分けてみると判断しやすくなります。社内文書をひとまとめに危険とするだけでは、どの構成が必要かは決められません。実際に使いたい文書を持つ部署と、規程や契約を管理する方に一緒に集まってもらいましょう。
| 入力したいもの | 先に確かめること | 判断に使う資料 |
|---|---|---|
| 社内規程・公開前の企画 | 社外サービスへの入力を社内規程が許すか。誰が見られるか | 情報分類と社内利用規程 |
| 顧客から預かった文書・契約書 | 再委託や外部送信、保管場所に契約上の制限があるか | 顧客との契約と秘密保持の取り決め |
| 個人情報を含む記録 | 利用目的の範囲内か。サービス側が応答以外に扱うか | 利用目的、提供元の契約と学習利用の説明 |
| 外部に出せない設計資料 | 外部通信を禁じる明文の条件があるか | 社内規程、顧客との契約、接続条件 |
個人情報保護委員会の注意喚起(2023年6月2日)は、個人情報を含むプロンプトを入力するとき、特定した利用目的を達成するのに必要な範囲かどうかを確かめるよう促しています。本人の同意なしに個人データを入力し、それが応答の出力以外の目的で扱われる場合には、法令違反となる可能性がある、という注意も示されました。同委員会は、生成AIの利用そのものを禁じているわけではありません。個人情報ならすべてオンプレ、と短く決めてしまうのではなく、利用目的と提供元の扱いを読んで判断することになります。
顧客との契約で外部送信が禁じられている文書なら、国内クラウドでも送れないことがあります。国外保存を避ける条件だけであれば、国内保存の対象から確かめていくことが出来ます。ただし、保存は国内でも推論が国外なら、契約の文言に合わない場合もあるでしょう。契約でいう外部送信、国外移転、再委託がそれぞれ何を指すのか、契約を管理する担当の方と確かめてみてください。
医療の分野でも、国内サーバーだけを絶対の条件とはしない説明があります。厚生労働省の医療情報システムの安全管理に関するガイドライン第7.0版Q&Aは、生成AIに医療情報を入力する場面について、学習等のために保存されないことが契約等で確保されていれば、サーバーが国内法の適用を受けることは必須ではないと説明しています。これは医療機関向けの指針になります。一般企業の許可や義務に置き換えるのではなく、条件を一つずつ読む例として参考にしてみてください。
オンプレへ移しても、情報漏洩の経路がなくなるわけではありません。利用者を確かめずに社内へ公開した画面や、退職した方の残ったままのアカウント、誰が入力したか追えないログは、機器の置き場所とは別の問題です。会社が用意したAIが使いにくいと、社員が個人のサービスに業務情報を入れてしまう野良AIも残ります。守るべきなのはサーバーの置き場所だけでなく、会社が許可した入力経路になります。情報の持ち込みと利用者の管理を、同じ表で見てみましょう。
社内で使ってよい文書、匿名化してから使う文書、入力を認めない文書に分けると、現場にも説明しやすくなります。ただ、匿名化したつもりでも、文脈から顧客が分かってしまう資料はあります。担当の方が判断に迷う例を拾って、入力してよいかを部署ごとに決めていきましょう。生成AIの社内ガイドラインとセキュリティ確認項目も、規程を整えるときに役立ちます。
もう一つ残るのが、回答を受け取った後の扱いです。自社のサーバーで作った回答でも、内容が正しいと機器が保証してくれるわけではありません。顧客へ渡す文書や社内の決裁資料には、元の資料と回答を照らし合わせる担当の方を置く必要があります。入力を守る仕組みと、出力を使う前の確認は、別の手順として用意してみてください。
使う環境が部署ごとに分かれているなら、会社の管理下に集める方法も考えられます。UPGEAR AI(アップギアAI)は、ChatGPT・Claude・Gemini・Perplexityを1つの契約で使える法人向けサービスです(人数無制限)。
GPUサーバー・モデル・運用担当に必要なもの
オンプレを選ぶなら、機器とモデル、利用者を守る入口、運用する方を、ひと組で用意することになります。GPUサーバーを買うだけでは、社員向けのサービスにはなりません。見積もりを取る前に、使う業務と同時に使う様子を決めておきましょう。
GPUの容量は利用者数だけでは決まりません
生成AIの推論(AIが回答を作る処理)には、モデルの重みと会話の作業領域を置くGPUメモリが要ります。NVIDIAの公式仕様では、サーバー向けL40SのGPUメモリは48GB、H100は仕様によって80GBまたは94GBとなっています。ただ、GPUの容量だけで何人が使えるかは分かりません。モデルの大きさ、入力する文書の長さ、同時に処理する会話の数によって、必要な量が変わってきます。
会話が長くなるほど、過去のやり取りを参照するための作業領域も増えていきます。確認できた例では、Llama 3.1 8Bで16Kトークンの会話を10本同時に処理すると、KVキャッシュ(会話ごとの作業領域)だけで約19.5GBになります。これはモデルの重み約16GBとは別に必要な容量です。とはいえ、この数字を社員10人なら同じGPUで足りるという意味に使うことは出来ません。10人が同時に短い質問をする場合と、少ない人数で長い資料を読み込む場合とでは、条件が違ってくるためです。試したい業務の文書量を使って、負荷を確かめてみましょう。
GPUには、電源と冷却も必要になります。L40Sの仕様上の最大消費電力は350Wで、カード自体にファンがなく、サーバー側の送風で冷やす前提です。H100のSXM構成には、最大700Wという仕様があります。GPUだけの数字をサーバー全体の消費電力として扱うと、設備の見積もりが小さくなってしまいます。設置場所の電源や送風、保守の窓口を、調達先に確かめてください。
オープンウェイトのモデルを選び、使い方を試します
自社の機器で動かすモデルには、LlamaやGemmaのように、重みを入手して使うオープンウェイトの選択肢があります。モデルごとに利用条件と必要な計算資源が違うので、候補を決めた段階で一度確かめておきましょう。業務文書の要約、社内規程の検索、定型文の下書きでは、求める回答の質も変わってきます。公開されている評判だけで選ばず、自社の文書を使ってよい条件のもとで評価してみてください。
社内文書を回答の根拠にしたいなら、RAGのための文書の整理も加わります。元の文書が古かったり、閲覧できる範囲が部署ごとに違ったりすると、モデルを替えるだけでは直りません。検索の対象を誰が更新し、削除した文書をいつ反映させるかも、運用の一部になります。文書を使う形は、社内LLMの進め方でも確かめることが出来ます。
社内公開するときは入口と記録を作ります
複数人でモデルを動かす推論サーバーには、vLLMという選択肢があります。vLLMの公式説明は、付属のAPIキーだけにアクセスの保護を任せないよう注意しています。キーで守られる入口は一部だけで、本番では追加の対策が要る、という説明です。社内ネットワークに置けば誰でも安全、という話にはなりません。公開する入口を絞り、利用者を確かめ、回数制限と記録を用意しましょう。
個人で試すときに使うOllamaは、既定ではそのPCの中からの接続だけを受け付けます。設定を変えれば社内向けに公開できますが、公開の手順だけで利用者の確認まで済んだと考えないでください。LM Studioも、既定ではAPIの要求に認証を求めないと公式に案内しています。社員向けに広げるなら、どの画面とAPIを公開し、誰の操作を記録するかを別に決めることになります。具体的な構築の入り口は、ローカルLLM用サーバーの解説で紹介しています。
運用の担当には、GPUドライバーの管理、セキュリティ更新、障害対応、性能の監視といった仕事が残ります。AI導入支援事業者のJAPAN AIの解説でも、これらを自社で担う必要があると説明されています。担当がいないまま納品日だけを決めてしまうと、故障や更新のときに利用が止まりかねません。いつもの担当の方と、その方が不在のときの連絡先まで、見積もりに含めておいてください。
使うモデルが、最新のクラウドより合わない場合もあります
オンプレで動かせるモデルは、用意したGPUメモリと運用体制の範囲で選ぶことになります。新しいクラウドのモデルと同じ回答の質になるとは限りません。一方で、決まった社内文書を探す仕事なら、必要な質を満たすかどうかを業務の質問で確かめることが出来ます。採用する前に、同じ入力と同じ確認手順で試し、回答の差が仕事に響くかを見てみてください。性能の順位だけで機器を選ぶと、使いたい業務とのずれが残ってしまいます。
初期費用から3年間の出費までどう比べるか
費用は、GPUサーバーの購入額だけでなく、構築と毎月の運用までを同じ期間で足して比べることになります。導入時の見積書に載る金額だけでは、社員に使ってもらい続けるための出費が見えてきません。まずはオンプレとクラウドに同じ業務と同じ利用量を当てはめて、見積もりの前提を揃えましょう。
AI導入支援事業者のJAPAN AIは、GPUが1〜2基の小規模な構成で数百万円から、8基の構成では数千万円規模と解説しています。これは同社が示す目安で、第三者が検証した市場価格ではありません。構成や為替、調達の時期で価格は変わり、正確な額は販売代理店に見積もりを取る必要があるとも書かれています。社員数だけを伝えて金額を聞くよりも、同時に何件の質問を処理し、どのくらいの長さの資料を使うかを添えて聞いてみてください。
※サーバー費用と調達期間の目安は、JAPAN AIの解説記事にある事業者の説明です(2026年11月15日確認)。購入額を示す確定価格ではありません。
| 費用の項目 | オンプレで確かめること | 国内クラウド法人向けで確かめること |
|---|---|---|
| 導入時 | GPUサーバー、設置、環境構築、モデル実装、文書の整備 | 初期費用、設定と文書の移行 |
| 毎月 | 電気、冷却、保守、担当者の勤務時間 | 月額または利用量に応じた料金、管理の勤務時間 |
| 更新時 | 機器更新、モデル更新、互換性の確認 | 契約変更、モデルや料金の変更への対応 |
| 障害と終了時 | 交換対応、復旧、機器とデータの処分 | 障害時の対応、データの取り出しと削除 |
電気代は、機器全体の実測値がないと確定しませんが、GPUの部分だけなら計算の例を作ることが出来ます。家庭向けの目安単価31円/kWhを使い、H100のSXM構成が最大700Wで24時間、30日動き続けたと仮定してみます。700W×24時間×30日で504kWhです。これに31円を掛けると、GPU1枚の最大値だけで月15,624円となります。同じ仮定でL40Sの350Wなら252kWhで、月7,812円です。どちらもサーバー本体と冷却の電力は含まないため、会社の請求額そのものにはなりません。
※GPUの仕様と家庭向けの電気料金の目安単価は、2026年10月6日時点の確認内容です。31円/kWhは全国家庭電気製品公正取引協議会の目安で、法人の契約単価ではありません。
この仮定を3年間の比較表に置くと、H100のGPU部分は15,624円×36か月で562,464円、L40Sは7,812円×36か月で281,232円になります。ただし、最大消費電力でずっと動き続けるという計算なので、実際の利用量を見込んだ値ではありません。契約する電力の単価も、家庭向けの目安とは違ってきます。この計算の役目は、見積もりから電気と冷却が抜けていないかに気づいてもらうことです。調達先に設備全体の消費電力を聞いて、会社の単価で計算し直してみてください。
担当の方の時間も、外へ払う請求書には出てこない費用になります。厚生労働省の令和7年賃金構造基本統計調査では、一般労働者の所定内給与額は男女計で月340.6千円となっています。仮に担当の方が勤務時間の1割を運用に充てるなら、給与額の按分だけで月34,060円、36か月で1,226,160円分となってしまいます。賞与と社会保険料の会社負担は含んでいません。実際の運用時間を示す一次資料はないので、これは読者の方に置いてもらう仮定になります。自社の人件費と担当の割合に置き換えて計算してみてください。
※賃金の数値は厚生労働省「令和7年賃金構造基本統計調査」を2026年10月6日に確認した内容です。運用時間の1割は説明用の仮定で、調査結果ではありません。
たとえば社員10名の会社でも、運用の担当割合が同じなら、この人件費の按分は月34,060円です。社員50名、200名になっても、担当の方の時間が同じままとは限りません。人数が増えるほど、同時利用と問い合わせの対応を調べ直す必要が出てきます。費用は人数割りの単価ではなく、会社が3年間に支払う総額で並べると違いが見えます。クラウドの側も料金表の最安額ではなく、実際の利用量で見積もりを取りましょう。
作業用の表には、オンプレなら機器、構築、電力、冷却、保守、担当の方の時間、更新の準備を入れます。クラウドの側には、初期費用、毎月の契約料または利用料、管理を担当する方の時間が入ります。どちらにも同じ文書の整備や社員への案内が要るなら、片方からだけ消さないようにしてください。GPU機器は数年単位で更新費がかかると、JAPAN AIも説明しています。3年間の比較では更新が期間の外に出る場合でも、次の更新費を空欄のまま表に残しておけば、後で判断がぶれにくくなります。
調達にも時間がかかります。JAPAN AIは、新しいGPUサーバーの調達に数週間から数か月かかることがあり、要件定義から運用開始までは構成次第で数か月と説明しています。これも事業者が示す目安になります。急いで使いたい業務があるなら、待っている間に何を使うかを決めておく必要があるでしょう。費用だけを比べて導入日を見落とすと、社員が個人のAIを使い始めてしまうことにもなりかねません。
見積もりが出たら、金額の大きい項目だけでなく、含まれていない項目にも印を付けてみてください。オンプレの見積書に保守が入っていても、社内からの質問対応や文書の差し替えまで含まれているとは限りません。クラウドの月額とは別に、社内規程を決める時間や利用者を案内する時間もかかります。比べる期間が同じでも、片方だけ社内の作業を無料と見なすと、判断がずれてしまいます。担当の方が兼務なら、いつもの仕事からどれだけ時間を移すかを、上司の方と相談しておきましょう。
費用が下がるという期待だけでオンプレを選ぶと、使われない機器が残ってしまうかもしれません。反対に、クラウドの月額だけを見て高いと決めると、機器の更新や障害対応にかかる出費を見落としてしまいます。利用する部署と業務を揃えた表にして、毎月の実績を書き込めるようにしておきましょう。最初の見積もりと実績がずれた理由を残しておけば、次にモデルや機器を見直すときの材料になります。会社の人数ではなく、実際にこなした仕事と費用を結び付けて見てください。
オンプレが要る会社と国内クラウドで足りる会社の判断表
判断は、外部通信の禁止、地域の条件、運用の担当、利用の固まり具合の順に進めると整理しやすくなります。機密性が高いという印象よりも、契約や規程に書かれた条件を先に使いましょう。次の問いに、自社の文書を根拠にして答えてみてください。
| 確かめる問い | はいの場合 | いいえ・未確認の場合 |
|---|---|---|
| 対象データや処理を外部ネットワークへ出せない明文の条件がありますか | 完全閉域のオンプレや閉域構成を検討 | 送信先と契約条件を確認して次へ |
| 保存だけでなく、推論やログも国内に限定する条件がありますか | モデル別に経路を証明できる構成を比較 | 国内保存の対象と例外を確認 |
| 機器、更新、障害に対応できる担当者がいますか | オンプレの運用見積もりを作成 | 運用を委託する範囲かクラウドを検討 |
| 使う業務と同時利用の様子が定まっていますか | 同じ負荷で複数の見積もりを比較 | 会社が許した環境で利用を試し、記録 |
外部ネットワークから物理的に分ける義務があり、対象の文書をその中でしか扱えないなら、完全閉域を検討する理由があります。保存先だけを日本に指定したクラウドでは、外へ送らないという条件を満たせないためです。この場合でも、社内の利用者管理とログは別に用意することになります。機器を買っただけで、契約に合うかどうかが決まるわけではありません。
国外保存を避けたいという条件が中心なら、国内リージョンを使う法人向けサービスも比べることが出来ます。ただし、推論やログまで国内に限る必要があるなら、候補をモデルと機能ごとに確かめなければなりません。ChatGPTの保存地域と推論地域の違いや、Bedrockのモデルごとの違いは、その確認が要る例になります。国内保存の契約で足りるのか、処理まで国内に限るのかを一文で決めましょう。この条件を書けないままだと、事業者からの回答も比べにくくなってしまいます。
使う業務がまだ定まらず、質問の量も分からない会社では、いきなりGPUの構成を決めるのは難しいでしょう。まずは会社が許可したクラウド環境で、入力してよい資料だけを使ってみてください。よく使われる業務、同時に使う場面、資料の長さ、回答の確認にかかる手間を記録しておきます。その結果と契約の条件を持って、オンプレの見積もりへ進む、という順番にすることも出来ます。
社員10名なら機器が小さくて済む、200名なら必ずオンプレが得、という換算は出来ません。同時利用の数と文書の長さでGPUメモリの必要量が変わり、クラウドも利用量と契約で費用が変わるためです。社員数は予算を考える入口にはなりますが、構成を決める数字にはしないでください。担当の方が兼務で運用する会社では、障害対応を引き受けられるかどうかが、費用以上の制約になることもあります。
機密性の高い組織の発表例も参考になります。オプティムは、佐賀県の織田病院で、入退院時看護サマリーの要約文を作る作業を、インターネット接続のない完全ローカル環境で扱ったと発表しています。HPEの発表によると、宮崎県は庁内専用のオンプレミス型生成AIの運用を始めました。FIXERは、草加市でオンプレ型の製品の導入が始まり、個人情報を含む会議録作成などに使うと案内しています。どれも発表した事業者の説明で、社員10〜200名の一般企業にそのまま当てはまる事例ではありません。詳しくはローカルLLMの導入事例をご覧ください。
閉域とクラウドを組み合わせた、中間の形もあります。常陽銀行の事例は、インターネットから分離した閉域クラウド上の環境として発表されていて、自社サーバーのオンプレとは異なります。社内に機器を置けないから閉域はあきらめる、という二択にはならないわけです。ただし、顧客の契約がクラウドの利用を認めているか、運用するのが誰なのかは、個別に確かめる必要があります。自社の制約を先に書き出しておけば、中間の形も含めて候補を絞り込めます。
要件定義から試験運用までの導入手順
導入は、機器の注文からではなく、使う文書と禁止される送信を決めるところから始まります。オンプレでもクラウドでも、業務の範囲が曖昧なままだと、見積もりと試験の結果を比べられません。現場の担当の方が実際に使いたい資料を集め、入力してよいかを先に仕分けておきましょう。
要件定義で、禁止条件と使いたい仕事を分けます
最初にまとめる資料には、扱う情報、使う部署、回答を使う場面、必要な確認の手順を書き出します。顧客との契約で禁じられていることは、希望する機能とは別の欄に置いてください。外部送信が一切できないのか、日本国内での保存が必要なのか、学習への利用を認めないのかで、候補が変わってくるためです。質問の例と元の文書を用意して、回答が役に立つかを現場の方と一緒に見てみましょう。
社内規程を探す業務なら、誰がどの規程を読めるかも要件に入ります。顧客別の契約書を扱うなら、別の顧客の文書を検索してしまわない仕組みが必要になります。RAGを使う場合は、検索結果の出典を社員が確かめられるかも試してみてください。ここを後回しにすると、モデルの回答が上手でも、業務では使いにくくなってしまいます。
調達と構築では、設備と守る入口を一緒に確認します
オンプレを選んだ場合は、想定するモデルと同時利用の条件を添えて、GPUサーバーの見積もりを取ります。電源、冷却、設置、保守の範囲まで、同じ資料で答えてもらいましょう。モデルを組み込んだら、認証、公開するAPI、記録、障害時の連絡を整えていきます。vLLMのAPIキーだけに保護を任せないという公式の注意も、構築のときの確認項目になります。
国内クラウドを選ぶ場合は、申し込み画面で地域を選んだだけで完了としないように気を付けてください。保存される情報の種類、推論の地域、ログの場所、外部連携を使ったときの例外を、資料に残しておきます。管理者がアカウントを止める手順や、利用履歴を見る方法も試してみてください。同じサービス名でも契約やモデルによって条件が違うので、採用する組み合わせをはっきり書いておきましょう。
モデル実装とRAGは、試験用の文書で確かめます
モデルの初期設定が終わっても、短い質問だけで合格にしないでください。普段使う長さの文書、表現の似た規程、古い版と新しい版がある資料を入れてみます。回答の根拠が元の資料のどこにあるかを、人が確かめられる形で評価しましょう。正答率の数字を作るより、間違えた回答が業務でどんな手戻りにつながるかを書き出したほうが、使い始める範囲を決めやすくなります。
社員に公開するときは、入力してよい文書と、回答の確かめ方を一緒に伝えます。利用が伸びないときも、モデルの性能だけを原因と決めつけないでください。画面への入り方が分からない、文書が見つからない、使ってよい情報が曖昧、といった理由も考えられます。利用者の質問を受ける窓口を置いて、運用の担当へ届く形にしてみましょう。
試した後に、オンプレ移行をもう一度判断します
会社が許したクラウドで始めた場合は、試験の終わりに条件を見直します。利用された業務、同時に使われた場面、入力してよい資料の範囲、月ごとの費用を記録しておいてください。利用が限られていて、国内保存と契約上の条件で足りるなら、そのまま法人向けサービスを使い続けることも出来ます。外部に出せない文書の業務がはっきりしたら、その対象だけをオンプレに移す案を見積もってみましょう。
全部の部署を一度に移す必要はありません。閉域が要る文書を扱う仕事と、公開されている情報を調べる仕事を分ける考え方もあります。完全閉域ではWeb検索を前提にした仕事が制限されるので、業務ごとに入口を分けたほうが使いやすい場合もあるでしょう。どのデータをどこへ送るのか社員が迷わないように、画面や手順の名前をはっきりさせてください。
構築会社とクラウド事業者に聞く質問
事業者への質問は、宣伝文句を比べるためではなく、自社の条件を満たす範囲を記録するために使います。国内、閉域、学習非利用といった短い言葉だけでは、どこに例外があるのかが分かりません。答えは口頭で終わらせず、対象の契約とモデルを添えた資料で受け取りましょう。
オンプレ構築会社には、納品後の運用まで聞きます
まず、どのモデルを、どのGPU構成で、どのくらいの同時利用を想定しているかを確かめます。質問文、添付文書、回答、ログがそれぞれどこに保存されるのかも、図にしてもらってください。完全閉域をうたう場合は、更新ファイルの持ち込みや障害時の連絡に外部通信を使うかを聞くと、普段の運用の姿が見えてきます。担当の方が退職したときに、設定や手順を引き継げるかどうかも大事になります。
RAGを組むなら、文書の閲覧権限が検索結果に反映されるかを確かめておきます。古い文書の削除や差し替え、誤って登録したものの修正を誰が担うのかも聞いてみてください。モデルを更新すると業務の回答が変わることもあるので、更新前の試験の方法も必要になります。保守契約に含まれる作業と、社内の担当の方が引き受ける作業は、分けて見積もってもらいましょう。
費用については、GPUの本体価格だけでなく、設置、冷却、保守、更新、故障したときの交換を分けて出してもらいます。調達が遅れた場合に、いつから使えるのかも確かめてください。利用者が増えたときに機器を増やす条件や、モデルを変えると必要なメモリが変わるかどうかも聞いておきます。社員数からGPUの枚数を決める公式の換算はないので、試験で使った負荷を見積もりの根拠として残しておきましょう。
クラウド事業者には、国内という言葉の範囲を聞きます
保存場所は、入力、生成結果、会話履歴、ログ、請求情報ごとに分けて聞きます。AIの推論がどこで処理され、選ぶモデルや外部検索によって経路が変わるかも確かめてください。学習に使わないという説明が、すべての入力と添付資料に及ぶのかを、契約の範囲で確かめることも大切になります。ログの保存期間と削除の条件も、学習利用とは別に聞いておきましょう。
再委託先がどこにあるか、適用される契約条件は何か、障害が起きたときの連絡先はどこかも、質問に入れておきます。契約を終えるときに、会話履歴と添付した資料を取り出せるか、いつ削除されるかも確かめてください。会社の管理者が利用者を止めたり、利用状況を見たりできる範囲も、製品ごとに違ってきます。画面の説明だけで判断せず、管理者の操作を実際に試してみましょう。
回答を比べるときは、契約の対象から外れる機能に印を付けておきます。たとえばChatGPTの日本での保存には条件があり、Web検索や外部アプリ連携では地域外となる場合があります。Claude APIでも、推論地域の指定と地域データ保存の説明は、別の範囲を指しています。担当の方が同じ質問表を各社に渡せば、回答の抜けが見えてきます。短い返答だけの項目は、採用前にもう一度資料で確かめてください。
機器の置き場所やクラウドの地域の条件を満たしても、会社が利用者に配るルールは残ります。許可した業務、入力を避ける文書、回答を確かめる担当の方、問い合わせ先を一枚にまとめておきましょう。導入後の点検では、実際の利用履歴と社員からの質問を見れば、規程と運用のずれに気づくことが出来ます。使うサービスが増えたときも、同じ質問表を更新していってください。
運用開始後に見直すこと|漏洩と費用を見逃さない
導入した後は、利用者、文書、モデル、費用の変化を、同じ担当の方だけに任せず、決めた手順で見直していくことになります。サーバーを社内に置いても、契約で国内保存を選んでも、使い始めた日の設定がずっと正しいとは限りません。誰が何を確かめるのかを、運用を始める前に書き出してみてください。
人が変わったら、入口と文書の権限も変えます
異動した方が前の部署の文書を読めるままだと、RAGの回答を通じて情報が見えてしまうかもしれません。退職した方のアカウントが残っていれば、その後の利用を会社がつかみにくくなります。採用のときには使う目的と利用の範囲を伝え、異動のときには文書の閲覧範囲を見直しましょう。退職のときに利用を止める手順も必要になります。社内の人事の手続きと、AIのアカウントの手続きを結び付けておいてください。
オンプレでは、モデルのAPIにたどり着ける経路も見直します。社員向けの画面は閉じていても、検証用の入口だけ残っていれば、管理者が思ってもいない使い方が続くことがあります。vLLMの公式説明も、APIキーだけに保護を任せないよう注意しています。社内から見える入口、認証する場所、利用の記録が残る場所を、担当の方が一度たどってみましょう。
クラウドの法人向けサービスでも、会社が管理するアカウントと個人のアカウントは別物です。社員が前から使っている個人契約を使い続けると、会社の管理画面にはその利用が出てきません。業務で使う入口を決めて配り、前の使い方から切り替えられたかを確かめます。禁止を伝えるだけで業務の不便が残っていれば、個人のサービスに戻りやすくなってしまいます。現場が困っている作業を聞いて、会社の環境で扱えるかを確かめてください。
文書が変わったら、回答の根拠も直します
社内規程や契約のひな形は、時間とともに更新されていきます。RAGに古い版が残っていると、モデルは古い文面を根拠に答えてしまうかもしれません。文書を登録した部署が、差し替えと削除の窓口も持てるかを確かめましょう。AIの担当の方だけでは、どの規程が今有効なのかを判断しきれないことがあるためです。
文書の名前が同じでも、部署によって使う版が違う場合があります。検索の対象を一つにまとめる前に、誰がどの版を見るのかを、元の業務で確かめておきます。試験のときは、古い版への質問と新しい版への質問をそれぞれ用意してみてください。回答が変わらなければ、モデルを替える前に、検索の対象と更新の手順を見直すことが出来ます。
回答の根拠が表示されていても、元の資料の一部だけを抜き出したせいで意味が変わることがあります。利用する方には、引用された箇所だけでなく、前後の文脈まで見てもらいましょう。社内向けの下書きと顧客へ出す文章とで、確認にかける手間を分けることも出来ます。どの業務ならAIの回答を参考に留め、どの業務なら承認を通すのかを決めておいてください。
モデルの更新は、便利さと手戻りを一緒に見ます
オンプレでは、新しいモデルの採用、ドライバーの更新、周辺ソフトの更新を自社で判断することになります。更新した後に同じ質問への回答が変わることもあるので、普段の業務から試験用の質問を残しておきます。正しく答えた例だけでなく、前に間違えた例も入れておけば、良くなった点と手戻りの両方が見えてきます。更新する日を決める前に、試す担当の方と、元に戻すかを判断する方を決めておきましょう。
クラウドでも、使うモデルや機能の変更には目を配っておきたいところです。契約したときのモデルが、ずっと同じ条件で提供されるとは限りません。新しいモデルに切り替えるときは、性能だけでなく、処理する地域やログの条件が前と同じかどうかも確かめてください。Bedrockではモデルごとに地域の対応が違い、Azureではデプロイ方式によって処理する場所が変わります。便利な機能を足しただけのつもりが、最初の地域の条件から外れていた、ということにならないよう気を付けましょう。
外部検索やアプリ連携を社員が使える環境では、入力の行き先が増えることにも気を付けたいところです。ChatGPTの地域データ保存も、Web検索や外部アプリ連携では地域外になる場合があります。導入のときに外部連携は使わないと決めたなら、後から必要になった部署が申請できる手順を用意しておきましょう。使いたい理由を聞かずに止めるだけでは、会社の外で同じ作業を始められてしまうかもしれません。
利用記録は、責めるためではなく運用を直すために見ます
誰がいつ使ったか、どの部署で利用が増えたかが分かると、問い合わせへの先回りや費用の見直しに役立ちます。ただ、記録に残す内容と、それを見られる方は、会社の規程で決めておく必要があります。会話の本文まで残るのか、利用量だけなのかも、製品や構成によって違います。契約のときに聞いたログの保存場所と期間を、運用の担当の方が確かめてみてください。
オンプレなら、記録の保存先を自社で決められる分、その容量と削除の手順も自社で持つことになります。クラウドなら、提供元が保持するログと会社の側から見えるログが同じとは限りません。OpenAI APIの不正利用を監視するログは既定で最大30日保持という説明がありますが、会社が業務の利用履歴として見る記録とは役割が違ってきます。欲しいログは最初から名前で分けて、取り出せるかどうかを聞いておきましょう。
利用履歴が少ない部署には、使い方が伝わっていないのかもしれません。量が多い部署には、業務の成果につながっているかを聞いてみましょう。回数だけで成功と判断すると、回答の確認に時間がかかる作業まで続いてしまいます。導入前に決めた業務の目的に立ち返り、実際の手戻りと利用者の声を合わせて見てください。
費用の見直しは、追加購入を決める前に始めます
オンプレの機器が足りないと感じたら、追加で買う前に、同時利用と文書の長さを測るところから始めます。モデルの重みだけでなくKVキャッシュの作業領域も増えるので、質問の長さや重なる時間帯が変わるだけで、見積もりの条件も違ってきます。登録した人数だけを、追加で買う根拠にしないようにしましょう。試験のときの前提と今の使い方を並べて、調達先と一緒に見直してみてください。
クラウドでも、利用が少ない最初の頃の月額を、全社に広げたときの費用として使わないことが大切になります。部署が増えると、入力する文書の量や使う機能も変わってきます。見積もりを取るときは、人数だけでなく、どの業務でどれだけ使ったかも添えてください。生成AIのコスト管理も、会社の出費を見直すときの参考になります。
3年間の総額表は、導入のときに一度作って終わりにはしません。実際の電力、保守、担当の方の時間、クラウドの請求に入れ替えていくと、選んだときの前提がまだ合っているかが見えてきます。オンプレに寄せたほうがよい業務と、クラウドのままが扱いやすい業務に分かれることもあるでしょう。機器を買った後も、業務ごとに置き場所を見直せます。次の更新費まで含めて、会社が払い続けられる形を選んでいきましょう。
障害が起きたときの連絡も、普段の運用と切り離せません。オンプレでは、機器、モデル、文書検索のどこで止まったのかを調べる方が必要になります。クラウドなら、事業者に連絡する窓口と、社員に状況を知らせる担当の方を決めておきます。止まっている間に機密文書を個人のAIへ移されないよう、代わりの手順も用意しておいてください。導入前に作った入力のルールが、障害のときにも守れるかを試してみましょう。
よくある質問
オンプレが要るかどうかは、禁止されているデータの扱いと運用の体制で答えが変わってきます。社内でよく出る疑問を確かめて、まだ決まっていない条件を持ち帰ってみてください。
オンプレミス生成AIとは何ですか?
オンプレミス生成AIの費用と導入期間はどのくらいですか?
小規模な会社でもオンプレミスから始められますか?
クラウドとオンプレを組み合わせられますか?
オンプレミス生成AIは時代遅れですか?
無料のモデルを使えば、オンプレの費用も無料になりますか?
社員に配る前に、入力する文書と利用者の管理が決まっているかを確かめておきましょう。関連する比較はローカルLLMとクラウドLLMの比較で、ほかの導入の記事はAI活用コラム一覧で読むことが出来ます。
国内で管理する法人向けAI環境も比べてみてください
UPGEAR AIは、ChatGPT・Claude・Gemini・Perplexityを1画面で切り替えて使える法人向けサービスです。入力データを学習に使わない設定を標準で適用し、会話履歴・利用ログ・アカウントを国内サーバー(AWSの日本リージョン)で管理します。月額30,000円(税抜)から。どのプランも利用人数は無制限で、料金は利用量に応じたプラン設計です(人数の目安はライト1〜5名、スタンダード6〜20名、プレミアム21〜50名)。初期費用100,000円(税抜)が別途かかります。推論まで国内で完結するという意味ではないため、必要な地域条件と照らしてご確認ください。
※料金と機能は、2026年11月15日に公式ページで確認した内容です。
UPGEAR AIの詳細を見る