ローカルLLMのおすすめモデル｜日本語に強いモデルと用途別の選び方

ローカルLLMとは、モデルを会社のPCやサーバーで動かし、入力した文章を外部のチャット画面へ送らずに使えるLLMになります。法人の業務で選ぶなら、Qwen系・Gemma 4・gpt-oss・日本語特化モデルの中から、業務、手元のVRAM、商用条件の3つで分けて絞り込むのが分かりやすいでしょう。基本の意味を先に押さえたい方は、ローカルLLMとは何かから読んでみてください。クラウドとの比べ方はローカルLLMとクラウドLLMの比較にまとめています。

ローカルLLMおすすめ早見表｜業務とVRAMと商用条件で決める

法人のローカルLLM選びは、モデル名から入るより、扱う業務と手元の機械を並べて考えるほうが迷いにくくなります。検索でよく見るVRAM別の表だけを頼りにすると、議事録の要約に向く候補とコード生成で試したい候補が、同じ列に並んでしまいます。実際に社内へ配るのであれば、業務ごとに候補を2つか3つに絞り、その候補だけを同じ文書で投げ比べてみてください。

ここでのVRAMは、動かす機械にどれだけ余裕があるかを考えるための目安になります。モデルカードに書かれている数字は、提供元の自己申告として扱っています。たとえばgpt-oss-20bは16GBのメモリで動くよう設計されたと書かれ、gpt-oss-120bは80GBのGPU 1枚で動く設計とされているものです。速さや答えの質はまた別の話になるため、表の候補をそのまま本番に採用せず、最後は社内の文書で試してみましょう。

※モデル名・サイズ・ライセンスは2026年10月3日時点で公式ページまたはHugging Faceのモデルカードに表示されている内容です。VRAM帯は検討時の区切りであり、公式が明記している動作条件以外は社内での実測が前提になります。

最初の1本を選ぶなら、汎用ではQwen系かGemma 4、軽く試すならgpt-oss-20bや日本語特化の小型モデルから始めると整理しやすくなります。会社で使う場合は、採用するモデルを1つに決め打ちしないほうが、あとの入れ替えも楽になるでしょう。担当者の方は、部署ごとにばらばらのモデルを選ばせる前に、標準の候補を2つか3つに絞っておきましょう。

検索上位8本のモデル集計｜Qwen系とGemma 4が候補に残りやすい

ローカルLLMのおすすめを検索すると、Qwen系とGemma 4が候補に挙がることが多いものの、取り上げている世代はかなりばらばらになります。2026年10月3日に取得したGoogle検索の上位8本（うち1本は会員限定のため目次のみ確認）で、おすすめや見出しに挙がるモデルを数えたところ、Qwen系は8本すべて、Gemma 4は6本で取り上げられていました。Qwenは記事によってQwen3、Qwen3.5、Qwen3.6、Qwen3.8と世代の書き方が分かれていて、読む方が混乱しやすいところでしょう。

この集計は、どのモデルがいちばん強いかを決めるための表ではありません。検索でよく名前が挙がるモデルを見て、社内で試す出発点を減らすための表になります。新しい記事であっても、公式のモデルカードまで戻らないと、商用条件や対応言語の書き方が変わっていることがあります。候補を拾ったら、一度は公式ページを開いて確かめてみてください。

検索で名前がよく出る候補は、導入担当の方が社内で説明しやすいという良さがあります。その一方で、出てくる回数だけで選ぶと、利用規約や日本語との相性を見落としてしまいます。稟議用の表は、モデル名、確認日、ライセンス、使う業務、検証結果の欄を設けた形が使いやすいでしょう。

会計事務所や士業の所内で使うのであれば、顧問先へのメールの下書き、就業規則の検索、決算書コメントのたたき台という3つの文書を用意して試すと、違いが見えやすくなります。どの候補にも満点を求めるより、使ってはいけない場面がどこかを見つけるほうが、現場では役に立ちます。社内の方に配る前に、うまくいかなかった例も含めて共有しましょう。

パラメータ数・量子化・MoEは、見た目の大きさと動く重さを分けて読む

ローカルLLMのモデル名にあるBやA3Bは、性能の順位ではなく、モデルの規模や動き方を表す記号になります。Bはbillionの略で、27Bなら約270億のパラメータという意味で使われています。パラメータの数が大きいほど表現の幅は期待しやすい反面、会社のPCで動かす負担も重くなってしまいます。名前だけで大きいほうを選ぶ前に、実際に動くかを確かめてみてください。

MoEはMixture of Expertsの略で、全体のパラメータのうち一部だけを動かす仕組みのことです。Qwen3.6-35B-A3Bは総35B・活性3B、Gemma 4 26B-A4B-itは総25.2B・活性3.8B、gpt-oss-20bは総21B・活性3.6Bと表示されています。総量だけ見ると大きく感じても、1回の推論で動く部分は別に書かれているわけです。ここを分けて読むと、MoEのモデルが軽量の候補に入ってくる理由が見えてくるでしょう。

量子化とは、モデルを軽く動かすために、数値の持ち方を小さくする工夫になります。gpt-oss-20bのモデルカードには、MXFP4という量子化によって16GBのメモリで動くよう設計されていると書かれています。ただし、軽くしても答えの質が必ず同じに保たれるとは限りません。社内文書の要約、コード生成、規程の検索と業務が変われば、崩れ方も変わってきます。

この3つを読むときは、モデル名、総パラメータ、活性パラメータ、公式の動作の記載、実測のメモを別々の列に分けておきましょう。とくに法人で使う場合は、速さだけでなく、うまくいかなかったときに理由を説明できるかが大切になります。担当者の方は、見栄えのよい大型モデルを1つ置くより、動く理由を説明できる候補から選んでみてください。

※パラメータ数、活性パラメータ、コンテキスト長、動作メモリの記載は、2026年10月3日時点の提供元モデルカードにある自己申告です。第三者検証の速度や品質としては扱いません。

モデルの読み方が分かってくると、部署ごとに別々の環境で試すことの怖さも見えてきます。候補の表と確認日を全員が見られる場所に置いておけば、あとで説明を求められたときの助けとなるでしょう。

業務別のおすすめモデル｜議事録・RAG・コード・日本語文書で分ける

おすすめのモデルは、社内で何を任せるかによって変わってきます。議事録を短くまとめるだけなら軽い候補でも試せますが、規程の検索や契約書の下読みでは、根拠の抜けが問題になります。コード生成であれば、日本語の自然さより、動く差分と説明の読みやすさを見たほうがよいでしょう。

議事録要約・長文要約

議事録の要約では、Gemma 4 26B-A4B-it、Qwen3.6-27B、gpt-oss-20bの3つを並べると比べやすくなります。Gemma 4 26B-A4B-itは256Kのコンテキストと140以上の言語が記載されていて、長い入力を試すのに向いた候補です。Qwen3.6-27Bは201言語に対応と記載されているため、日本語の会議録でも投げ比べてみる価値があります。gpt-oss-20bは16GBのメモリで動くよう設計されたとされ、最初の1台でも試しやすい候補でしょう。

見るべきところは、発言の細かい言い換えより、決定事項、未決事項、担当者が分かれて出てくるかどうかになります。実際の会議録から個人名や顧客名を外し、同じ文書を3つのモデルに投げてみてください。社内で使うなら、要約がきれいかどうかより、あとで確かめるべき箇所を残してくれるかで決めると失敗が減ります。

社内文書検索・RAG

RAGとは、社内の文書を検索してから、その内容を使って回答する仕組みのことです。結果を大きく左右するのは、モデルの強さだけでなく、文書の版の管理やファイル名、根拠となる箇所の出し方になります。候補としては、Qwen3.6-35B-A3B、Gemma 4 26B-A4B-itのような汎用の候補と、Qwen3-Swallow-30B-A3B-RL-v0.2のような国産の日本語特化の候補を並べると判断しやすいでしょう。

社内文書の検索でよくある失敗は、モデルを入れる前の文書の整理を軽く見てしまうことです。古い就業規則、改定前の手順書、担当者のメモが同じフォルダに混ざっていると、どのモデルでも古い答えを拾ってしまいます。最初の検証では文書を10本ほどに絞り、答えに使った段落が合っているかを見てみましょう。

コード生成

コード生成では、Qwen3.6-35B-A3B、Qwen3.8-27B、gpt-oss-20bを候補に入れることが出来ます。Qwen3.8-27BはQwen公式のHugging Faceに公開されていて、ライセンスはApache 2.0、引用表記は2026年8月となっています。Qwen3.6-35B-A3Bは総35B・活性3BのMoEで、こちらもApache 2.0です。gpt-oss-20bは、まず軽く試してみる候補として置いておくとよいでしょう。

コードで見るべきなのは、完成度より直しやすさのほうになります。社内ツールの小さな関数、既存コードの説明、エラーの原因の候補を同じ条件で出させると、違いがはっきりしてきます。最初から自動で実行させるところまでは任せず、人が読める形で差分を出せるか、命名の癖を合わせられるかを見てみてください。

日本語文書作成

日本語の文書作成では、多言語のモデルと日本語特化のモデルを分けて比べると分かりやすくなります。多言語のモデルでは、Qwen3.6-27Bが201言語に対応、Gemma 4は140以上の言語で学習と記載されています。ただ、Gemma 4の公式情報には、日本語を名指しした記載までは見当たりません。日本語特化では、ELYZA-Thinking-1.0-Qwen-32B、Qwen3 Swallow、llm-jp-4.1-8b-thinking、Sarashina2.2-3b、CyberAgentLM3-22B-Chatが候補になってきます。

社内メールや稟議の文、顧問先への説明文では、正しさに加えて言い回しの柔らかさも見られます。モデルの答えをそのまま貼るのではなく、会社の言い方に近いか、失礼な言い切りがないか、専門用語を短く説明できているかを確かめてみてください。日本語特化のモデルも、会社の文章に合うと分かってから標準の候補に入れましょう。

軽量PCで始める場合

軽めのPCでは、いきなり大型モデルを動かそうとせず、Sarashina2.2-3bやllm-jp-4.1-8b-thinkingのような小型の候補から試すと入りやすくなります。小型モデルは、研修やプロンプトの練習、短い文案の比較に向いています。契約書のレビューや社内規程の根拠つきの回答まで任せると、現場の期待と結果がずれてしまいます。

ローカルLLMを初めて入れるときは、まず1台で使えるかどうかを見る方が多いでしょう。その段階では、全社に広げる話を急がなくても大丈夫です。まずは3つの業務に絞り、どの業務なら役に立つかを記録してみてください。出来ないことを早めに見つけておくほど、あとで配る範囲を決めやすくなります。

商用利用の条件は、公式ページと確認日を表にして残す

法人で使うのであれば、商用で使えるかどうかの条件を、モデル名の横に必ず書き残しておきましょう。Apache 2.0やMITのように扱いやすいライセンスもあれば、Llama 4のように独自のライセンスで、表示の義務や利用ポリシーが付いてくるものもあります。モデルカードの表示を見ただけで終わらせず、使う前に各リポジトリのLICENSE本文まで確認してください。

社内の稟議では、どうしても性能の表だけが残りがちになります。あとで監査や取引先への説明で聞かれるのは、どのモデルを、どんな条件で使ったかのほうでしょう。表の確認日は、モデルを入れた日ではなく、公式の表示を確かめた日にそろえておくことが大切です。下の表は、2026年10月3日時点で確かめた内容をまとめたものになります。

※この表は法的助言ではありません。実際の利用前には、各モデルのLICENSE本文、利用ポリシー、社内の契約確認フローをご確認ください。

商用の条件を表にしておくと、モデルの入れ替えも落ち着いて判断することが出来ます。Apache 2.0の候補だけで足りる業務なのか、独自ライセンスのモデルを使う理由があるのかが見えれば、社内への説明も短くなります。担当者の方は、モデルをダウンロードした後ではなく、候補に入れる段階でこの表を作っておきましょう。

PC/GPUと費用の目安｜無料ソフトでも検証時間は会社の出費になる

ローカルLLMの費用は、モデルの利用料だけではなく、PCやGPU、検証にかかる時間、運用担当の手間まで含めて考える必要があります。Ollamaは、自分の機械でモデルを動かす分は無料だと公式の料金ページに書かれています。LM Studioも、2025年7月8日の公式ブログで、家庭でも職場でも無料で使えると発表されました。ここだけを見ると安く感じますが、会社の出費はそこで終わりにはなりません。

たとえばOllamaの有料のクラウド利用に切り替えると、Proは月20ドル、Maxは月100ドルと表示されています。10人全員がProを使えば毎月200ドル、Maxなら毎月1,000ドルの支払いとなってしまいます。ローカルで動かす分は無料でも、クラウドの機能を使う形に変えたとたん、人数分の出費に変わるわけです。ドル建てのサービスは為替でも支払いが揺れるため、稟議では前提を分けて書いておきましょう。

PCやGPUの購入費については、ここで確かめた範囲の情報だけでは金額までお伝えできません。だからこそ、見積もりを取る前に、どのVRAMの帯で何を試すかを決めておく必要があります。gpt-oss-20bのように16GBのメモリで動くよう設計された候補で足りるのか、gpt-oss-120bのように80GBのGPU 1枚を前提にした規模まで必要なのかで、会社の準備は大きく変わります。

ローカルLLMを本番で使うとなると、モデルの更新、ライセンスの確認、社員からの質問への対応、動かなくなったときの切り分けも出てきます。担当者が1人しかいないまま始めると、休みや退職でそのまま止まってしまいます。自分たちで組み立てて運用する手間と、既製の法人向けサービスを使う場合とを並べて、比べてみてください。

クラウドLLMとの使い分けについては、ここでは深く立ち入りません。機密の文書だからローカル、高い精度や最新のモデルを追うならクラウド、という単純な分け方では決めにくいためです。クラウドとの比較や3年総額の考え方はローカルLLMとクラウドLLMの比較にまとめていますので、こちらではモデルの候補を決めるところまでにしましょう。

モデルは更新が速いため、見直し日を先に決める

ローカルLLMのおすすめは更新が速く、公開した日から時間がたつほど古くなってしまいます。2026年10月3日時点でも、QwenはQwen3、Qwen3.5、Qwen3.6、Qwen3.8が入り混じって語られ、Gemmaも旧世代とGemma 4が並んでいる状態です。モデルの名前を決めるだけで終わると、半年後には社内の標準が古いまま残ってしまうでしょう。

見直しは、性能のニュースが出るたびに動く必要はありません。法人で使う場合は、3か月ごとに候補を確かめ、6か月ごとに標準のモデルを見直し、年1回ライセンスを棚卸しする、という周期が回しやすくなります。更新のたびに全社員の環境を入れ替えるのではなく、まず検証の担当が同じ文書で投げ比べ、今のモデルよりはっきり良いときだけ入れ替えましょう。

見直しの周期を決めておけば、モデル選びの議論も落ち着いてきます。新しいモデルが出るたびに追いかけていると、検証だけで疲れてしまいます。反対に、一度決めたまま放っておくと、古い標準を使い続けることになります。担当者の方は、モデルの名前より先に、次の見直し日をカレンダーに入れてみてください。

見直しの記録には、モデルの良し悪しだけでなく、採用しなかった理由も残しておきましょう。たとえば、日本語は良いがライセンスの確認が重い、速いが根拠の示し方が弱い、軽く動くが社内規程では間違いが多い、といったメモがあると、次の検証がぐっと短くなります。半年後の担当者が同じ試験を一からやり直さなくても済むよう、形を整えておくことが大切です。

自社PCで投げ比べる手順｜tokens/sと回答品質を同じ表で見る

モデル選びの最後は、自社のPCで同じ文書を投げ比べる作業になります。OllamaやLM Studioを使えば、ローカルの環境で候補のモデルを動かすことが出来ます。Ollama本体はMIT Licenseで、LM Studioは個人および社内業務目的での利用を認めると利用規約に書かれています。インストールの細かい手順はローカルLLMとは何かのほうに任せて、ここでは比べ方を決めていきましょう。

tokens/sとは、1秒あたりに何トークンを出力できるかを表す速さの単位になります。今回確かめた公式の情報には、速さの数値は含めていません。実際のPC、量子化、入力する文、同時に使う人数で速さは変わるため、社内で測った値だけを表に残すほうが安心でしょう。速いモデルでも答えが粗ければ業務では使いにくく、遅いモデルでも確認の手間が減るなら採用の候補に残すことが出来ます。

1. 個人名、顧客名、取引先名を外した議事録、社内規程、短いコードを用意します。
2. 候補モデルを2つか3つに絞り、同じプロンプトを同じ順番で投げます。
3. tokens/s、初回応答までの体感、回答の根拠、誤り、修正のしやすさを記録します。
4. 業務担当者に読んでもらい、使いたい回答と怖い回答を分けます。
5. 採用、保留、対象外の3段階で決め、確認日と担当者名を残します。

投げ比べでは、正解が分かっている文書を混ぜておくと判断しやすくなります。議事録なら決定事項が3つある文書、規程の検索なら該当する条文が分かっている質問、コードならテストしやすい小さな関数を使ってみてください。採点の表を先に用意しておけば、好き嫌いではなく、業務で使えるかどうかで決めることが出来ます。

法人では、1台のPCで動いたことと、社内の標準として配れることは別の話になります。そのあとも、同時に使う人数への対応、問い合わせ、モデルの更新、商用条件の確認が続いていくためです。まずは2週間だけ試してみて、業務の担当者が直す時間も含めて、作業が短くなったかを見てみましょう。そこで効果が見えない業務は、無理にローカルへ移さないという判断も出来ます。

よくある質問

まとめ

ローカルLLMのおすすめは、人気のモデル名だけでは決まりません。法人で使うなら、業務、VRAM、商用条件、見直しの周期を並べてから候補を絞る流れになります。汎用はQwen系とGemma 4、軽く試すならgpt-oss-20bや小型の日本語特化モデル、日本語の文書ではELYZA、Swallow、LLM-jp、Sarashina、CyberAgentLM3を出発点にしてみてください。

商用で使う場合は、Apache 2.0、MIT、独自ライセンスの違いを確認日つきで残しておきましょう。モデルカードにあるパラメータ数や動作条件は提供元の自己申告として扱い、速さや答えの質は社内の文書で試す必要があります。最初のモデル名だけでなく、半年後の見直し日まで決めておくと安心です。

ローカルLLMを入れるか、クラウドLLMや法人向けのサービスを使うかは、また別の判断になります。運用の体制や3年総額まで比べたい方は、ローカルLLMとクラウドLLMの比較も読んでみてください。