ローカルLLMの構築とは、OllamaやLM Studioといった実行ソフトを自社のPCやサーバーに入れ、AIのモデルを手元の機械で動かせる状態にすることです。1台で試すだけなら、実行ソフトを入れてモデルを1つダウンロードすれば、その日のうちに動かすことが出来ます。一方で社員に配るなら、社内への公開設定、使う人の確認（認証）、クラウド機能の扱い、更新の担当を先に決めておかなければなりません。仕組みから知りたい方はローカルLLMとはを、機種選びはローカルLLMに必要なPCを先にご覧ください。
ローカルLLMの構築とは｜クラウドのAIとの違いと全体の流れ
ローカルLLMの構築は、AIの計算を社外のサーバーではなく自社の機械に任せる形へ切り替える作業になります。ChatGPTのようなクラウドのAIは、入力した文章を提供元のサーバーへ送り、そこで計算した答えを受け取る仕組みです。ローカルLLMでは、モデルのファイルを自分のPCに置き、計算もそのPCの中で済ませることが出来ます。
ただし、同じ実行ソフトの中にもクラウドで動く部分がある点には気をつけてください。Ollamaのダウンロードページには、この機械の中で動かす方法と、Ollama社のクラウドで動かす方法の2通りが並んでいます。クラウドのモデルは名前の末尾が「:cloud」となり、例えばgemma4:cloudのように表示されます。ローカルLLMを構築したつもりでも、こちらを選べば入力した文章は社外のサーバーへ出てしまいます。
構築の全体の流れ
構築は大きく5つの段階で進みます。1台で試すだけなら3まで、社員に配るなら5まで進めることになるでしょう。
- 目的と扱うデータを決める（どの業務で、どこまでの機密を入れるか）
- PCとモデルを選ぶ（手元のメモリに収まる大きさか、ライセンスは合うか）
- 実行ソフトを入れてモデルを動かす（Windows・Macの手順は後の節）
- 社内に公開する設定をする（公開の範囲、使う人の確認、クラウド機能の扱い）
- 運用の担当とルールを決める（更新、入力してよいデータ、記録、費用）
1から3は公式の手順に沿って進められる作業で、待ち時間の多くはモデルのダウンロードになります。4と5は製品の画面を見ても答えが書かれておらず、社内で決めるしかない部分となってしまいます。社員に配るかどうかで、構築に必要な作業の量は大きく変わります。自分の会社がどちらの段階を目指すのかを、最初に決めておきましょう。
構築するメリット｜入力したデータを手元にとどめられる
自社で構築する大きな利点は、手元のモデルを使う限り、入力した文書が実行ソフトの提供元へ送られない点にあります。OllamaはFAQの中で、ローカルで動かす場合は同社がプロンプトやデータを見ないと説明しています。費用の面では、Ollamaは自分の機械でモデルを動かす分を無料とし、LM Studioも職場での利用を含めて無料と2025年7月に発表しました。モデルもApache 2.0のように改変や社内での利用を広く認めるライセンスのものが多く、自社の用途に合わせて選び直すことが出来ます。
デメリットと注意点｜運用はすべて自前になる
引き換えに、クラウドのAIなら提供元が受け持つ仕事が、すべて社内に残ります。機材の用意、モデルの選定と入れ替え、ライセンスの確認、社内への公開と使う人の管理、更新の適用までを、誰かが担当しなければなりません。モデルの性能はPCのメモリやGPUに縛られるため、クラウドの大きなモデルと同じ品質を手元で出すのは難しくなります。新しいモデルが出るたびに入れ替えるかどうかを判断する手間も続いてしまいます。この負担を誰が持つのかを、構築を始める前に社内で話し合っておくことが大切です。
構築の前に決めること｜目的・データ・PC・モデル・置き方
構築に入る前に、何に使うか、どこまでのデータを入れるか、誰が面倒を見るかの3つを決めておきましょう。この3つが決まると、PCの大きさもモデルも公開の範囲も、自然と絞られてきます。反対に、とりあえず動かしてから考える進め方だと、試した担当者のPCにだけ環境が残り、社内に広がらないまま止まってしまいがちです。
目的と扱うデータ
目的は、議事録の要約や社内規程への質問のように、業務の名前で1つか2つに絞ると、後の判断が楽になります。扱うデータは、公開済みの資料、社外秘、個人情報を含むもの、の3段階くらいに分け、どこまでをローカルLLMに入れてよいかを決めてください。手元で動かせば提供元へは送られませんが、社内のPCやサーバーには残るので、扱える人を絞る話は別に残ります。どんな業務に使えるかの全体像はローカルLLMでできることで用途ごとに整理しています。
必要なPC・メモリの目安
試すだけなら、今あるPCで足りる場合もあります。LM Studioの動作要件では、MacはApple Silicon（M1〜M4）とmacOS 14.0以降、WindowsはAVX2に対応したx64かSnapdragon X EliteのARMが対象で、どちらもメモリ16GB以上を推奨としています。OllamaのWindows版の案内では、本体に4GB以上、モデル用には別に数十〜数百GBの空きが必要になります。どの機種でどのくらいの大きさのモデルが動くかは、ローカルLLMに必要なPCで価格とあわせて比べていますので、購入の前に確かめてみてください。
最初に動かすモデルの選び方
最初の1つは、ライセンスが分かりやすく、手元のメモリに収まる大きさのものから選ぶと進めやすくなります。例えばOpenAIのgpt-oss-20bはApache 2.0で、16GBのメモリで動くよう設計したと提供元がモデルカードに書いており、Ollamaでのダウンロードの大きさは14GBと表示されています。日本語の出来はモデルごとに差があり、自社の文書で読み比べるのが確実です。候補の一覧はローカルLLMのおすすめモデルに、日本語の評価指標や必要なメモリの計算はローカルLLMのモデル比較にまとめました。
1台を共有するか、各自のPCに入れるか
社内で使う形は、各自のPCに入れるか、1台のPCやサーバーを共有するかの2通りに分かれます。各自のPCに入れる形は公開設定が要らない代わりに、台数分のインストールとモデルのダウンロードが必要となり、版のばらつきも起きやすくなります。1台を共有する形はモデルも更新も1か所で済む一方、社内のネットワークに公開する設定と、使う人を確かめる仕組みを用意しなければなりません。どちらにするかで、後の公開の節が要るかどうかが決まります。
| 比べる点 | 各自のPCに入れる | 1台を共有する |
|---|---|---|
| インストールの回数 | 使う人の台数分 | 1台分 |
| モデルのダウンロード | 台数分（1つで十数GBになることもある） | 1台分 |
| 社内への公開設定 | 要らない（既定の自分のPCの中だけで使う） | 要る（OLLAMA_HOSTやServe on Local Network） |
| 使う人の確認 | PCのログインに任せる形になる | トークンや利用者の承認を別に用意する |
| 更新とモデルの入れ替え | 各自に任せると版がそろわない | 担当者が1か所で適用できる |
| PCの性能 | 全員分のPCにメモリが要る | 共有する1台に性能を集められる |
| 向いている段階 | 数人で試す段階 | 部署やチームで使う段階 |
数人で試す段階は各自のPC、部署で使う段階は共有の1台、と段階に応じて切り替える考え方もあるでしょう。どちらの形でも、入れてよいPCと使ってよいモデルを一覧にしておくと、後から版をそろえる手間が減らせます。
実行ソフトの選び方｜Ollama・LM Studio・Open WebUIの役割
会社での構築に使う道具は、モデルを動かす実行ソフトと、社員がブラウザで使う画面の2つに分けて考えると整理しやすくなります。Ollamaはアプリとコマンド、APIで使う実行ソフトで、本体はMIT Licenseで公開されています。LM Studioは画面で操作するデスクトップアプリで、チャットにdocx・pdf・txtを添付して読ませることも出来ます。Open WebUIはそれ自体にモデルを持たず、Ollamaなどにつないでブラウザのチャット画面を用意する道具です。
| 道具 | 役割 | 操作の仕方 | 社内に公開するときの設定 | ライセンス・料金 |
|---|---|---|---|---|
| Ollama | モデルを動かす実行ソフト | アプリとollamaコマンド。APIはhttp://localhost:11434 | OLLAMA_HOSTで待ち受けるアドレスを変更 | 本体はMIT License。自分の機械で動かす分は無料（クラウド利用のProは月20ドル、Maxは月100ドル） |
| LM Studio | 画面つきの実行ソフト | デスクトップアプリ。CLIはlms | Serve on Local NetworkとRequire Authentication | 職場での利用も無料と2025年7月8日に発表 |
| Open WebUI | 社員がブラウザで使うチャット画面 | Docker・Python・デスクトップアプリ | 最初のアカウントが管理者、新規登録は承認制（Pending） | v0.6.6以降は独自ライセンス（合計50人超の利用でブランド表示の条件） |
| AnythingLLM | 文書への質問に向いた画面 | デスクトップ版とDocker版 | 複数人での利用と権限設定はDocker版のみ | MIT License |
最小の組み合わせは、1人で試すならOllamaかLM Studioのどちらか1つ、部署で共有するならOllamaとOpen WebUI、またはLM Studioのサーバー機能という形になります。迷ったときは、まず担当者のPCにOllamaを入れて動かし、社員に見せる段階でOpen WebUIを足す順番で進めてみてください。量子化（モデルの重みを低い精度で保存してメモリを減らす方法）の種類は、llama.cppのREADMEに一覧があり、Ollamaのモデル名に付く大きさの違いを読み解くときの手がかりになります。
※手順・画面名・コマンド・設定名は、2026年10月6日時点の公式ドキュメント（Ollama・LM Studio・Open WebUI）の表記です。ソフトの更新で変わる場合があります。Ollamaの料金は2026年10月3日時点の公式料金ページの表示です。
Windowsでの構築手順｜Ollamaを入れてモデルを動かすまで
WindowsでのOllamaの構築は、要件の確認、インストール、モデルの選択、GPUの確認の4段階で進めます。画面名とコマンドは公式ドキュメントの表記をそのまま載せましたので、手元の画面と見比べながら進めてみてください。
手順1：動作要件を確かめる
OllamaのWindows版は、Windows 10 22H2以降（Home・Pro）が対象です。NVIDIAのGPUを使う場合は、ドライバ551.61以降が必要になります。GPUはNVIDIAならcompute capability 5.0以上、AMDならRadeon RXやRadeon PROなどが対応先として公式に挙がっています。保存先には本体用に4GB以上、モデル用に数十〜数百GBの空きを見込んでおきましょう。
手順2：インストールする
インストールは、PowerShellでコマンドを1行流す方法と、インストーラーを手で落とす方法から選べます。コマンドで入れる場合は、PowerShellを開いて次の1行を実行します。
irm https://ollama.com/install.ps1 | iexダウンロードページの「Download manually」からインストーラーを入手して実行する方法も用意されています。公式ドキュメントによると、インストールに管理者権限は要らず、既定ではユーザーのホームフォルダに入る仕組みです。情シスがソフトの配布を絞っている会社でも社員が自分で入れられてしまうため、入れてよいPCを先に決めておく必要があるでしょう。
手順3：起動してローカルのモデルを選ぶ
インストールが終わるとOllamaはバックグラウンドで動き続け、コマンドプロンプトやPowerShellからollamaコマンドを使えるようになります。他のアプリからは、http://localhost:11434のAPIで呼び出せる状態です。起動したときの案内では、サインインしてクラウドのモデルを使うか、ローカルのモデルを選ぶかを聞かれます。社内の文書を扱う前提なら、ここではローカルのモデルを選んでください。名前の末尾が「:cloud」のモデルは、手元ではなくOllama社のサーバーで動きます。選ぶモデルの名前は、社内の手順書に書いて指定しておくと迷いが減るでしょう。
手順4：GPUで動いているかを確かめる
モデルを動かしたら、次のコマンドでGPUに載っているかを確かめておきましょう。
ollama psProcessorの欄に「100% GPU」と出ればGPUだけで、「100% CPU」ならCPUだけで動いています。「48%/52% CPU/GPU」のような表示なら、CPUとGPUの両方に分かれて動いている状態になります。CPUの割合が大きいときは、使っているモデルの大きさがPCのメモリに見合っているかを、必要なPCの目安と照らし合わせてみてください。
モデルの保存場所とメモリに置く時間
Windowsではモデルが「C:\Users\%username%\.ollama\models」に保存されます。Cドライブの空きが少ないPCでは、環境変数OLLAMA_MODELSで別のドライブに置き場所を移すことが出来ます。OLLAMA_KEEP_ALIVEを使うと、モデルをメモリに置いておく時間も変えられます。共有の1台で何人も使う場合は、この2つの値を誰がどう決めたかを手順書に残しておいてください。
LM StudioをWindowsで使う場合
画面の操作で進めたい方は、Ollamaの代わりにLM Studioを使う方法もあります。Windowsではx64とARM（Snapdragon X Elite）に対応し、x64ではAVX2に対応したCPUが必須で、GPUは専用VRAM 4GB以上が推奨となっています。職場での利用も無料と2025年7月8日の公式ブログで発表されており、利用規約にも社内業務での利用を認める記載があります。コマンドを使わない分、社員が自分で入れやすい道具でもあるので、Ollamaと同じく入れてよいPCを決めておくと安心です。
Macでの構築手順｜アプリを入れてモデルを動かすまで
Macでの構築も流れはWindowsと同じで、違うのは要件とインストールの方法になります。ここではOllamaを中心に、LM Studioを使う場合の要件も添えています。
手順1：動作要件を確かめる
OllamaのmacOS版は、macOS Sonoma（v14）以降が対象です。Apple MシリーズのチップならCPUとGPUの両方を使い、Intel（x86）のMacではCPUだけで動きます。Mシリーズでは、AppleのMetalを使ったGPUでの高速化に対応しています。MacのメモリはCPUとGPUが共有するユニファイドメモリで、購入時の構成で決まり、後から増やせるとの記載は仕様ページにありません。これから買い足すなら、使いたいモデルの大きさから逆算してメモリの構成を選んでください。
手順2：インストールする
公式が勧める入れ方は、ollama.dmgを開き、Ollamaのアプリをアプリケーションフォルダへドラッグする方法です。初めて起動すると、ollamaコマンドへのリンクを/usr/local/binに作ってよいかを聞かれるので、許可するとターミナルからコマンドが使えるようになります。ターミナルから入れる場合は、ダウンロードページにあるmacOS・Linux向けの次の1行を使います。
curl -fsSL https://ollama.com/install.sh | sh手順3：ローカルのモデルを選び、動きを確かめる
起動後の流れはWindowsと変わらず、サインインしてクラウドのモデルを使うか、ローカルのモデルを選ぶかの案内が出ます。ここでもローカルのモデルを選び、動いたらollama psでGPUに載っているかを確かめておきましょう。モデルの保存場所は「~/.ollama/models」で、OLLAMA_MODELSを使えば容量の大きいドライブへ移すことが出来ます。
LM StudioをMacで使う場合
LM StudioのMac版は、Apple Silicon（M1〜M4）とmacOS 14.0以降が必須で、メモリは16GB以上が推奨です。8GBのMacでも、小さいモデルと控えめなコンテキスト（一度に読ませる文章の長さ）なら使える場合があると公式に書かれています。ドキュメントのチップ名にM5・M6は載っていないため、新しい機種で使うときは、最初に小さなモデルで動きを確かめてみてください。
Macを社内の共有機にする場合
Mac miniやMac Studioを部署の共有機として置く使い方も考えられます。Apple日本の公式表記では、Mac mini（M6）はユニファイドメモリ16GBで、24GB・32GBの構成も選べます。Mac Studio（M5 Max）は36GBから128GBまでの構成があり、大きなモデルを1台に集めたいときの候補になります。共有機にするなら、後の節で扱うOLLAMA_HOSTの設定をlaunchctl setenvで入れ、アプリを再起動する流れです。メモリは購入後に増やせるとの記載がないため、共有機は最初から余裕のある構成を選んでおきましょう。
更新の受け取り方（Windows・Mac共通）
OllamaはmacOSとWindowsでは更新を自動でダウンロードし、タスクバーやメニューバーの「Restart to update」を押すと適用される仕組みです。便利な反面、社員がそれぞれ押すかどうかで版がそろわなくなり、不具合の切り分けが難しくなってしまいます。共有の1台で動かす場合は、誰がいつ更新を適用するかを決めておきましょう。Linuxで動かす場合は、インストールスクリプトを流し直すと新しい版に入れ替わります。
社内に公開するときの設定｜OLLAMA_HOST・認証・クラウド機能
1台のローカルLLMを社員で共有するには、そのPCを社内のネットワークに開く設定、使う人を確かめる仕組み、社外へ出ていく機能を止める設定の3つが要ります。既定では自分のPCの中からしか使えず、社内に開くときの利用者の確認は、ソフトごとに別の設定や仕組みが必要です。ここが、1人で試す段階と会社で使う段階を分ける境目になります。
Ollamaを社内のネットワークに開く
Ollamaは既定で127.0.0.1のポート11434で待ち受けており、そのPCの中からしか使えない状態になっています。社内の他のPCから使うには、環境変数OLLAMA_HOSTで待ち受けるアドレスを変えることになります。公式FAQの例では、macOSはlaunchctl setenvでOLLAMA_HOSTに0.0.0.0:11434を設定してから、アプリを再起動します。Windowsは「環境変数を編集」からOLLAMA_HOSTを新しく作り、同じくアプリを再起動する手順となります。
注意したいのは、この公開手順の説明の中に、使う人を確かめる設定（認証やトークン）の説明がないことです。Ollamaを0.0.0.0で開くときは、誰がつないでよいかを別の仕組みで決めてから開きましょう。社員にはOpen WebUIのように利用者の登録と承認を持つ画面から使ってもらい、Ollamaへ直接つなぐ使い方は案内しない、といった決めごとが考えられます。それでもOllamaのポート自体は社内から届く状態に変わりないため、どの範囲のPCから届くようにするかは、ネットワークの担当者と決めておいてください。
Ollamaのクラウド機能を切る
社内の文書を扱うなら、Ollamaのクラウド機能を止めておくことも考えておきましょう。OllamaはFAQで、ローカルで動かす場合は同社がプロンプトやデータを見ないと説明する一方、クラウドのモデルを使う場合はプロンプトと応答を処理すると書いています。保存や学習には使わないと同社は記載していますが、社外へ送られること自体は変わりません。止め方は2通りあり、~/.ollama/server.jsonでdisable_ollama_cloudをtrueにするか、次の環境変数を設定します。
OLLAMA_NO_CLOUD=1止めるとクラウドのモデルとWeb検索が使えなくなり、ログに「Ollama cloud disabled: true」と出れば反映された状態です。共有の1台だけでなく、各自のPCに入れる形でも、この設定を手順書に含めておくと社外への送信を防ぎやすくなります。
LM Studioを社内に公開する
LM Studioは、DeveloperタブのStart serverでAPIのサーバーを起動でき、コマンドのlms server startでも同じことが出来ます。「Serve on Local Network」を有効にすると、同じネットワークの他の機器から使えるようになります。公式ドキュメントも用途の例として、1つのLM Studioをネットワーク上の複数人で使う形を挙げています。コマンドで起動するなら次のように入力します。
lms server start --bind 0.0.0.0あわせて読んでおきたいのが、127.0.0.1以外で待ち受けるとサーバーがそのPCの外から見えるようになるため、認証を有効にするよう勧める公式の注意書きです。LM StudioはAPIへの要求に既定では認証を求めず、Developersページ＞Server Settingsの「Require Authentication」をオンにすると、有効なAPIトークン付きの要求だけを受け付けるようになります。トークンはServer Settingsの「Manage Tokens」で作り（LM Studio 0.4.0以降）、作ったときに一度しか表示されません。発行したトークンを誰に渡したかの台帳を作り、異動や退職のときに作り直せるようにしておきましょう。
Open WebUIで社員用の画面を用意する
Ollamaを共有するときの社員向けの画面には、Open WebUIを組み合わせる方法があります。Open WebUIはモデルを持たず、Ollamaなどにつないで使うブラウザのチャット画面です。入れ方はDocker、Python、デスクトップアプリの3通りが案内されていて、本番で使うならDockerかPythonが勧められています。Pythonで入れる場合は、次の2行で起動します。
pip install open-webui
open-webui serve起動したら、ブラウザでhttp://localhost:8080を開きます。Dockerの場合の例ではhttp://localhost:3000で開く形で、ホスト側のOllamaは0.0.0.0で待ち受けている必要があると記載されています。社内公開の設定は、最初に作ったアカウントが管理者になるところから始まります。管理者が出来ると新しい登録は自動で止まるため、社員を入れるにはアバター＞Settings＞Admin＞Authenticationの「New Sign Ups」をオンにします。新しく登録したアカウントは、管理者がAdmin Panelで承認するまでPending（保留）のままとなります。承認の担当を決めておかないと、登録した社員が使えないまま待たされてしまいます。
ライセンスにも1点注意があります。Open WebUIはv0.6.6（2025年4月）以降、ブランド表示を守る条項の付いた独自のライセンスになっており、この条件は合計50人を超える大きな利用に限ると書かれています。社員が50人を超えて使うなら、導入前にライセンス本文を確認してください。公開の設定、トークンの台帳、利用者の承認と、社内で持ち続ける仕事がここで一気に増えることになるでしょう。
公開設定やトークン、承認の担当を社内で持ち続けるのが重いときは、使う環境を会社で1つにまとめる方法もあります。UPGEAR AI（アップギアAI）は、ChatGPT・Claude・Gemini・Perplexityを1つの契約で使える法人向けサービスです（人数無制限）。
モデルと実行ソフトのライセンスを確かめる
社内で使うモデルと実行ソフトは、導入の前にライセンスを1つずつ確かめておきましょう。主要なモデルの多くはApache 2.0ですが、Llamaのように独自の条件を持つものや、社内での利用も商用目的に数えるものもあります。表示を見落としたまま使い続けると、後から使い方を変えなければならない場合も出てきてしまいます。
| ライセンス | 主な例 | 社内で使うときに確かめる点 |
|---|---|---|
| Apache 2.0 | gpt-oss、Gemma 4、Qwen3.6、Qwen3 Swallow、ELYZA-Thinking、CyberAgentLM3 | 利用の規模や禁止用途の条件は本文になし。再配布するときは写しを渡す、変更したファイルに変更の表示、元の著作権表示を残す、NOTICEがあれば含める。商標の使用は許諾されない |
| MIT License | Sarashina2.2-3b、Ollama本体、AnythingLLM | 著作権表示と許諾表示を複製に含める。規模の条件や禁止用途の定めはなし |
| Llama 4 Community License | Llama 4 Scout | リリース日時点で月間アクティブユーザー7億超ならMetaへ申請、「Built with Llama」の表示、作ったモデルの名前は「Llama」で始める、利用ポリシーの順守 |
| 旧Gemma Terms of Use | Gemma 1・2・3・3n | 禁止用途ポリシーを契約に組み込む。Gemma 4は別ライセンス（Apache 2.0） |
| Qwenの独自ライセンス | Qwen2.5-72B-Instruct | 月間アクティブユーザーが1億を超える場合は申請、モデルを作るときは「Built with Qwen」などの表示。Qwen3は公式READMEで公開した重みがApache 2.0と記載 |
| PLaMo Community License | PLaMo 2 | 組織内での利用も商用目的に含む。公式ページで事前登録し、利用者や関連会社の年間売上が10億円を超えないことが条件 |
| Open WebUIのライセンス | Open WebUI v0.6.6以降 | 合計50人超の利用でブランド表示の条件が効く |
見落としやすいのは、PLaMo Community Licenseのように、社外に提供しなくても組織内での利用を商用目的に含める定義です。この場合はPFNの公式ページでの事前登録と、年間売上が10億円を超えないことの両方を満たす必要があり、満たさなければ別の商用ライセンスを得ることになります。同じQwenでも、Qwen2.5-72B-Instructは独自のライセンス、Qwen3は公式READMEで公開した重みモデルすべてがApache 2.0と、世代によって条件が変わります。モデルを入れ替えるたびに、Hugging Faceのカードの表示だけでなく、LICENSEの本文まで目を通してみてください。
※ライセンスの内容は、2026年10月3日〜6日時点で各提供元のモデルカードとライセンス本文に表示されていたものです。利用の前に各リポジトリのLICENSE本文をご確認ください。
実行ソフトと周りの道具の条件
モデルだけでなく、実行ソフトや画面の道具にもそれぞれ条件があります。Ollama本体とAnythingLLMはMIT Licenseで、著作権表示と許諾表示を複製に含めることが条件になります。LM Studioは2025年7月8日の公式ブログで職場での利用も無料と発表し、利用規約にも個人と社内業務の目的での利用を認める記載を置いています。以前は業務での利用に別の商用ライセンスが必要だったため、古い社内資料にその前提が残っていないかも見直してみてください。RAGで文書を蓄えるときに使われるChromaのようなベクトルデータベースは、Apache 2.0と表示されています。
ライセンスを確かめる手順
確かめる手順は、モデルの公開ページでライセンスの名前を見て、LICENSEの本文を開き、社内の使い方に当てはまる条件を書き出す、の3段階で足ります。書き出す項目は、商用目的の定義、利用者の数や売上の上限、表示の義務、派生モデルの名前、禁止用途の5つを目安にするとよいでしょう。書き出した内容は使ってよいモデルの一覧と同じ表に載せ、モデルを足すたびに同じ欄を埋める形にすると、担当が替わっても続けやすくなります。読み方に迷う条件があれば、法務の担当や顧問の専門家に本文を見てもらうことも考えてください。ライセンスとは別に、Llama 4 Scoutの公式対応12言語に日本語が入っていないように、日本語での使い勝手も導入前に確かめておく必要があります。
運用で決めること｜更新・入力のルール・記録・費用
構築が終わってから続く仕事は、モデルとソフトの更新、使い方のルール、記録の扱い、費用の管理の4つになります。ここを決めないまま社内に出すと、担当者が異動した時点で誰も直せない環境が残ってしまいます。次のチェックリストを、社内で決める項目の下書きに使ってみてください。
- 置き方（各自のPCか、共有の1台か）共有なら置き場所のPCと、止まったときに再起動する人を決めます。各自のPCなら入れてよいPCの一覧を作ります。
- 使ってよいモデルと版モデル名をそのまま書いた一覧にします。名前の末尾が「:cloud」のモデルは一覧に入れないかどうかも決めます。
- クラウド機能を切るかどうかOLLAMA_NO_CLOUD=1、またはserver.jsonのdisable_ollama_cloudで止めるか。止めるとWeb検索も使えなくなる点を利用者に伝えます。
- 公開の範囲127.0.0.1のままか、社内に開くか。開くならどの範囲のPCから届くようにするかをネットワークの担当者と決めます。
- 使う人の確認と承認の担当LM StudioのRequire Authenticationとトークンの台帳、Open WebUIのPending承認を誰が受け持つか。
- 退職・異動のときの手順トークンの作り直し、Open WebUIのアカウントの停止、各自のPCからの削除を、人事の手続きと同じ日に行う流れにします。
- 更新を適用する日と担当Restart to updateを押す人と時期、モデルを入れ替えるときに答えを比べる質問の一覧。
- 入力してよいデータの線引き公開済み・社外秘・個人情報の3段階のどこまでを入れてよいか。共有の1台なら、扱える人を絞る情報は入れないと決めます。
- ライセンスの確認モデルを足すたびにLICENSE本文を読む人。社内の利用でも条件が付くモデルがないかを見ます。
- 費用と機材の持ち主PCやGPUをどの部署の予算で買い、壊れたときに誰が手配するか。
- 止まったときの連絡先共有の1台が動かないときに、社員がどこへ連絡し、担当者の不在時は誰が代わりに見るか。
- 使わなくなったモデルの片付け試しに入れたモデルを残し続けると保存先の空きが減ります。消す担当と時期を決めます。
構築から運用までの作業と担当の一覧
チェックリストで決めた内容は、作業ごとに担当と残すものを並べた一覧にしておくと、引き継ぎのときに役立ちます。作業の時間は機材や社内の体制で大きく変わるため、ここでは誰が持つかと、何を書き残すかだけを並べました。
| 作業 | 主な担当の例 | 書き残すもの |
|---|---|---|
| 目的と扱うデータを決める | 経営者・利用部署の責任者 | 使う業務の名前、入れてよいデータの段階 |
| PCとモデルを選ぶ | 情シスなど構築の担当 | 機種とメモリ、使ってよいモデルと版の一覧 |
| ライセンスを確かめる | 構築の担当と法務の担当 | モデルごとのライセンス名と社内に関わる条件 |
| 実行ソフトを入れる | 構築の担当 | 入れたPC、版、保存先（OLLAMA_MODELS） |
| クラウド機能を切る | 構築の担当 | OLLAMA_NO_CLOUDやserver.jsonの設定と、ログで確かめた日 |
| 社内に公開する | 構築の担当とネットワークの担当 | OLLAMA_HOSTの値、届く範囲、Serve on Local Networkの設定 |
| 使う人を確かめる仕組みを入れる | 構築の担当 | トークンの台帳、Open WebUIの管理者と承認の担当 |
| 利用者を承認・停止する | 承認の担当（総務など） | 承認した日と停止した日 |
| 更新とモデルの入れ替え | 構築の担当 | 適用した日、新旧で答えを比べた結果 |
| 問い合わせと障害の対応 | 構築の担当と代わりの担当 | 連絡先、最初に見る場所（ollama ps・空き容量） |
社員向けに配る案内の例
共有の1台を社員に開くときは、使い方の案内を1枚にまとめて配っておくと、問い合わせが減らせます。項目は次のような形が考えられますので、自社の決めごとに合わせて書き換えてみてください。
- 使ってよいのは、社内で用意した画面（Open WebUIなど）から使うローカルLLMだけです。
- 名前の末尾が「:cloud」のモデルは使わないでください。
- 入れてよいのは公開済みの資料と社外秘までで、個人情報は入れないでください。
- 答えに出てくる数字や日付は、元の資料と照らし合わせてから使いましょう。
- アカウントの申し込みと停止は、承認の担当へ連絡してください。
- 動かないときや遅いときは、構築の担当へ連絡をお願いします。
更新の担当と切り替えの手順
モデルは短い間隔で新しい版が出ており、Qwenを例にとるとモデルカードの引用表記は3.5が2026年2月、3.6が4月、3.8が8月となっています。新しい版に替えると、同じ質問でも答えが変わることがあります。普段使っている質問をいくつか決めておき、切り替えの前に新旧で答えを並べて確かめる手順を作っておきましょう。Ollama本体はmacOSとWindowsで更新を自動でダウンロードするため、共有の1台では適用する日と担当を決めて運ぶことになります。
入力してよいデータと記録
ローカルで動かしていても、入力してよいデータの線引きは別に決めておく必要があります。共有の1台やOpen WebUIを使う形では、社員の入力がそのサーバーの中に集まるため、人事や個人情報のように扱える人を絞りたい情報は入れない、といった線引きが要るでしょう。IPAのサイトに掲載された「テキスト生成AIの導入・運用ガイドライン」も、RAGに使うデータに機密情報や個人情報が含まれる場合は、アクセスの制限とデータの定期的な棚卸しが大切だとしています。AnythingLLMのように、使い方の情報（テレメトリー）を既定で送る道具もあり、画面のサイドバー＞PrivacyかDISABLE_TELEMETRYの設定で止められます。ルールの書き方は生成AIの社内ガイドラインの作り方を下敷きにしてみてください。
※IPAのサイトに掲載の「テキスト生成AIの導入・運用ガイドライン」（2024年7月31日公開）は、IPAの意見を代表するものではなく、中核人材育成プログラム卒業プロジェクトのメンバーの見解であると掲載ページに書かれています。
止まったとき・遅いときの担当
共有の1台が止まったときや、急に遅くなったときに誰が見るかも決めておく必要があります。最初に見る場所は、ollama psのProcessorの欄と、保存先の空き容量の2つになります。GPUに載るはずのモデルが「100% CPU」と出ていれば、ほかのモデルがメモリを使っていないか、OLLAMA_KEEP_ALIVEの設定を見直すきっかけにしてください。モデルは1つで数十GBになるものもあり、Ollamaのライブラリではqwen3.5の122bが81GB、llama4のScoutが67GBと表示されています。担当者が不在のときに代わりに見る人と、その人が読む手順書の置き場所までを決めておけば安心です。
費用の管理
ローカルLLMはソフトの利用料がかからない場面が多く、費用の中心はPCやGPUといった機材と、社内の手間に移ります。Ollamaは自分の機械で動かす分を無料としており、有料のPro（月20ドル）とMax（月100ドル）はクラウドを使うためのプランです。クラウド機能を切った環境なら、見積もるのは機材と人の手間の2つになります。GPUで考える場合、NVIDIAの公式比較表ではGeForce RTX 5090が32GB、RTX 5080・5070 Ti・5060 Ti（16GB版）が16GBのメモリを積んでいます。GPUの価格はNVIDIAの公式ページに日本円の表示がないので、販売店の見積もりで確かめてください。Macの価格の例として、Apple日本の公式表記ではMac mini（M6、16GB）が149,800円（税込）から、Mac Studio（M5 Max、36GB）が419,800円（税込）からと表示されています。人の手間は会社によって差が大きいため、どの作業を誰が持つかを後の節の表で確かめてみてください。
※Ollamaの料金とAppleの価格は、2026年10月3日時点で各社の公式ページに表示されていたものです。Appleの価格は最小構成の税込価格で、メモリを増やすと上がります。
構築後に広げる使い方｜RAGとファインチューニング
動かせるようになった後、次の段階として検討されやすいのが、社内の文書を探してから答えさせるRAG（検索拡張生成）になります。LM Studioはチャットにdocx・pdf・txtを添付でき、文書が長いと自動でRAGに切り替わりますが、うまくいく場合も調整と試行が要る場合もあると公式ドキュメントに書かれています。Ollamaで組む場合は、文章を数値の並びに変える埋め込みのモデルを使い、文書を登録するときと質問するときで同じ埋め込みモデルを使うのが公式の勧める形です。推奨の例にはembeddinggemma・qwen3-embedding・all-minilmが挙がっており、ライブラリの表示ではembeddinggemmaが622MBと、会話用のモデルに比べて小さなファイルになります。
気をつけたいのは、RAGに入れた文書は、使う人全員が答えを通して読める可能性があることです。IPAのサイトに掲載されたガイドラインも、格納した情報は利用者全員が閲覧する可能性があるため、対象の役職や所属部署に合うかを確かめる必要があるとしています。部署や役職で見てよい範囲が違う文書は、共有の1台にまとめて入れず、分けて扱いましょう。道具の選び方や権限の分け方はローカルLLMで社内文書RAGを作る方法で詳しく扱っています。
モデルそのものに追加で学習させるファインチューニングは、元のモデルのライセンスの条件がついて回る点に気をつけてください。Llama 4を使って作ったモデルは名前を「Llama」で始める決まりがあり、PLaMoでは出力を使って学習したモデルも派生モデルとして同じ条件に従います。Apache 2.0のモデルでも、手を加えたファイルを配るときは、変更した旨を目立つように示す必要があります。社外に配らず社内だけで使う場合でも、どのモデルを元にしたかの記録は残しておきましょう。
社内に広げる進め方｜担当者の1台から部署の共有まで
構築したローカルLLMは、いきなり全社に出すより、担当者の1台、数人での試用、部署での共有と3段階で広げると無理がありません。段階ごとに確かめる点を決めておけば、次へ進むかどうかの判断も付けやすくなります。
段階1：担当者のPCで動かす
最初は構築する担当者のPCにOllamaかLM Studioを入れ、ローカルのモデルを1つ動かします。この段階で確かめるのは、ollama psでGPUに載っているかと、答えが返ってくるまでの待ち時間が業務で許せる長さかの2点になります。試す文書は、外に出ても困らない公開済みの資料や社内報から選んでください。手順と設定値は、この段階から手順書に書き残しておきましょう。
段階2：数人で試す
次に、使ってみたい部署の数人に広げ、普段の業務の質問を投げてもらいます。各自のPCに入れるなら、モデルと版、クラウド機能を切る設定をそろえた見本を配る形が進めやすいでしょう。試してもらう期間を区切り、使えた用途と物足りなかった用途を集めておくと、続けるかどうかの判断材料になります。物足りなかった用途は、モデルを替えるか、クラウドのAIに任せるかの候補として残しておきます。
段階3：部署で1台を共有する
部署で使い続けると決めたら、共有の1台を用意し、OLLAMA_HOSTやServe on Local Networkで社内に開きます。同じ日に、Open WebUIの承認やLM Studioのトークンといった使う人の確認の仕組みを入れ、承認の担当を決めてください。入力してよいデータの線引きと、更新を適用する日も、このときに社内へ知らせておく必要があります。全社に広げる話が出たら、後の節の作業と担当の表に戻り、自社で持ち続けるか既製のサービスを使うかを見直してみてください。
構築後によくある失敗パターン
ローカルLLMでつまずきやすいのは、動かす日よりも、動いた後の数か月のほうになります。ここでは社内で使い始めてから起こりやすい7つの形を挙げますので、自社の計画と照らし合わせてみてください。
設定を知っているのが構築した1人だけ
OLLAMA_HOSTやOLLAMA_MODELSの値、LM Studioのトークン、Open WebUIの管理者アカウントは、構築した方の手元にだけ残りがちです。LM Studioのトークンは作ったときに一度しか表示されないため、控えを残さないまま担当者が異動すると、作り直すほかなくなってしまいます。設定値と手順は、構築した日のうちに社内の手順書へ書き写しておいてください。
モデルが古いまま使われ続ける
最初に入れたモデルを見直す担当がいないと、新しい版が出ても入れ替わらないまま使われ続けることになります。切り替えのたびに答えを比べる手間がかかるので、後回しにされやすい作業でもあります。見直す時期を四半期に1回のように決めて、予定表に入れておきましょう。
社員が結局クラウドのAIを個人で使い始める
ローカルLLMの答えに物足りなさを感じた社員が、個人のアカウントでクラウドのAIを使い始めることがあります。会社が把握していないAIの利用は野良AI（シャドーAI）と呼ばれ、ローカルLLMを入れた狙いだった情報の管理が、かえって崩れてしまいます。用途によってはクラウドのAIも会社として用意し、どの仕事にどちらを使うかを示しておくほうが現実的でしょう。見えない利用の広がり方と対策はシャドーAI（野良AI）の記事で取り上げています。
公開の設定だけが先に進む
試しにOLLAMA_HOSTを0.0.0.0にしたまま、使う人を確かめる仕組みを足さずに使い続けてしまう形も、起こりやすいつまずきの1つです。LM Studioでも、Serve on Local Networkを有効にしただけでRequire Authenticationをオンにし忘れると、トークンなしの要求を受け付ける状態のまま残ります。社内に開く日と、認証や承認の仕組みを入れる日は同じにする、と決めておくのが安全でしょう。
PCごとに版と設定がばらばらになる
各自のPCに入れる形で広げると、Ollamaの版、入っているモデル、クラウド機能の設定がPCごとに違ってきます。質問への答えが人によって食い違い、相談も構築した方へ集中しがちです。入れてよいモデルの一覧と設定の見本を1枚にまとめ、各自のPCをそろえてもらいましょう。
保存先の容量が足りなくなる
モデルを試すたびにダウンロードを重ねると、保存先の空きが少しずつ減っていきます。Ollamaのライブラリでは、gpt-oss-20bが14GB、qwen3.5の27bが17GB、gemma4の31bが約19〜20GBと表示されており、数本入れるだけで数十GBになってしまいます。使わなくなったモデルを消す担当と時期も、更新の担当とあわせて決めておきましょう。
気づかないうちにクラウドのモデルを使っている
起動時の案内でサインインし、名前の末尾が「:cloud」のモデルを選ぶと、計算は手元ではなくOllama社のサーバーで行われます。モデルの名前を見落とすと、本人はローカルで使っているつもりのまま、社内の文書を社外へ送ってしまうことになります。クラウド機能を切る設定を最初から入れておき、ログに「Ollama cloud disabled: true」と出ているかを確かめる習慣を付けておくと安心です。
自社で構築するか、既製の法人向けサービスを使うか｜作業と担当で比べる
社員に配る段階まで進むなら、ローカルLLMを自社で構築・運用する形と、既製の法人向けサービスを契約する形を、作業の有無と担当で並べて比べてみてください。時間や人件費は会社によって大きく変わるため、ここでは作業ごとに誰が受け持つかで並べています。
| 作業 | 自社で構築（ローカルLLM） | 既製の法人向けサービス |
|---|---|---|
| 機材の用意 | あり。PC・GPU・サーバーを社内で選んで買う | なし。提供元のサーバーで動く |
| 実行ソフトとモデルの導入 | あり。情シスなど社内の担当 | なし。提供元が用意したモデルから選ぶ |
| モデルの入れ替えと答えの確認 | あり。社内の担当が新旧を比べて切り替える | モデルの追加は提供元。使うかどうかは会社が選ぶ |
| ライセンスの確認 | あり。モデルごとに社内で確認 | サービスの利用規約を確認 |
| 社内への公開と認証 | あり。OLLAMA_HOST、トークン、利用者の承認を社内で設定 | なし。提供元の仕組みでログインする |
| アカウントの発行・停止 | あり。管理者が承認や削除を手作業で行う | あり。管理画面で発行・停止する（機能はサービスごとに確認） |
| 利用の記録 | あり。残す仕組みを社内で用意する | 管理画面に用意されているかを契約前に確認 |
| データの通り道 | 社内で完結（クラウド機能を切った場合） | 提供元のサーバーを通る。保存場所と学習利用の条件を契約で確認 |
| 更新の適用 | あり。社内の担当が日を決めて適用 | なし。提供元が適用 |
| 社員からの問い合わせ | 社内の担当が受ける | 社内の窓口と提供元のサポートで分担 |
自社で構築すると、データを社内に閉じておける代わりに、入れる・開く・直す・見張るの作業がすべて社内に残ります。既製のサービスは作業の多くを提供元が持つ一方、データは提供元のサーバーを通るので、保存場所と学習利用の条件を契約で確かめなければなりません。クラウドのサービスでも、Microsoft Copilotは、個々の利用者が少なくとも表示の権限を持つ組織のデータだけを表示すると公式に説明しています。点検の項目は生成AIのセキュリティ対策チェックリスト、複数のAIを1か所にまとめる考え方はマルチAIとはを参考にしてみてください。
既製のサービスを比べるときに確かめる点
既製のサービスを比べるときは、自社構築なら社内が受け持つ作業を、そのサービスがどこまで引き取るかを見ていくと判断しやすくなります。次の5つは、契約の前に資料や問い合わせで確かめておきたい項目です。
- データの保存場所と学習利用の条件入力した文章や会話の履歴がどの国のどの事業者の設備に置かれるか、AIの学習に使われない設定が全員に効くか。
- アカウントの発行と停止入社・退職のときに、管理者が画面からすぐに発行・停止できるか。
- 利用の記録誰がいつどのAIを使ったかを会社側で確かめられるか。
- 使えるモデルと追加の方針今使えるモデルと、新しいモデルが出たときにどう対応してきたか。
- 料金の決まり方利用する人数で増えるのか、利用量で決まるのか。社員全員に配ったときの月額で比べます。
ローカルLLMとクラウドのAIを組み合わせる場合
両方を使う形にすると、作業の表の左右どちらの仕事も社内に一部ずつ残ります。ローカルLLMの側では、機材、モデル、公開設定、更新の担当がそのまま必要です。クラウドの側では、アカウントの管理と、どの仕事にどちらを使うかの案内を社内で用意することになります。社員が迷わないよう、機密の文書はローカルLLM、調べものや資料作りはクラウドのAI、のように仕事の種類で線を引いて示してみてください。
自社構築が向く会社・向かない会社
自社構築が向くのは、社外に出せない文書を決まった人数で扱い、PCやネットワークの面倒を見られる担当者が社内に1人以上いる会社です。機材を買う予算を取れることや、モデルの入れ替えと答えの確認に時間を割けることも条件になります。反対に、全社員に配りたい、担当者を置けない、最新の情報を調べる使い方が中心、という会社は、既製の法人向けサービスを会社として契約するほうが早く進むでしょう。機密の文書だけをローカルLLMで扱い、それ以外は会社で契約したクラウドのAIに任せる組み合わせも選べます。
判断に迷うときの3つの問い
どちらにするか決めきれないときは、次の3つの問いに順に答えてみてください。答えが1つでも右の列に寄るなら、自社構築だけで進める前に既製のサービスと並べて比べる価値があります。
| 問い | 自社構築に向く答え | 既製のサービスも比べたい答え |
|---|---|---|
| 社外のサーバーに一切出せない文書を扱うか | 扱う。契約や規程でクラウドに置けない | 扱わない。保存場所と学習利用の条件を確かめれば使える |
| 構築と更新を受け持つ担当者を置けるか | 置ける。代わりの担当も決められる | 置けない、または1人に頼ることになる |
| 誰に配るか | 決まった部署の数人から十数人 | 全社員、または今後も人数が増える |
3つとも左の列に当てはまる会社は、この記事の手順で担当者の1台から始めてみるとよいでしょう。右の列が多い会社は、ローカルLLMは機密の文書を扱う一部の用途に絞り、社員全員の道具は既製のサービスで用意する形も選択肢に入ってきます。
サーバーの番をせずに、社員全員へAIを
UPGEAR AIは、ChatGPT・Claude・Gemini・Perplexityを1画面で使える法人向けサービスです。アカウントの権限や利用ログ、使わせるモデルのON/OFFは管理者ダッシュボードから扱え、基盤はAWSの日本リージョンで稼働しています。料金は月額30,000円（税抜）から。どのプランも利用人数は無制限で、料金は利用量に応じたプラン設計です（人数の目安はライト1〜5名、スタンダード6〜20名、プレミアム21〜50名）。初期費用100,000円（税抜）が別途かかります。
UPGEAR AIの詳細を見るよくある質問
ローカルLLMの構築にはどのくらい時間がかかりますか？
WindowsとMacで構築の手順は違いますか？
OllamaとLM Studioはどちらを選べばよいですか？
ローカルLLMの構築に管理者権限は必要ですか？
ローカルLLMのモデルはどこに保存されますか？
Ollamaの更新はどうすればよいですか？
Ollamaを社内の他のPCから使うにはどうすればよいですか？
Ollamaには使う人を確かめる設定がありますか？
ローカルLLMでもデータが社外に出ることはありますか？
ローカルLLMは無料で構築できますか？
日本語で使うなら、どのモデルから試せばよいですか？
Open WebUIを社内で使うときのライセンスの注意点は？
自社で構築するのと既製の法人向けサービスを使うのは、どちらがよいですか？
まとめ
ローカルLLMの構築は、1台で試すだけなら、OllamaかLM Studioを入れてローカルのモデルを1つ選べば、その日のうちに動かすことが出来ます。WindowsはPowerShellの1行かインストーラー、Macはollama.dmgからアプリを入れ、ollama psでGPUに載っているかを確かめる流れです。
社員に配る段階では、OLLAMA_HOSTやServe on Local Networkでの公開、トークンや承認による使う人の確認、クラウド機能の扱いを決める必要があります。あわせて、モデルごとのライセンス、更新を適用する担当、入力してよいデータ、機材の費用まで、社内で決める項目が一気に増えてしまいます。
こうした作業を自社で持ち続けるか、既製の法人向けサービスに任せるかは、作業と担当を表に並べて判断してみてください。自社で構築すると決めた場合も、担当者の1台、数人の試用、部署での共有と段階を踏み、各段階で決めたことを手順書に残していくと引き継ぎで困らなくなります。ほかの記事はAI活用コラム一覧からご覧いただけます。