ローカルLLMのおすすめは？業務で使うモデルの選び方と用途別比較【2026年版】

「社内データを外に出さずにAIを使いたいので、ローカルLLMを導入したいが、どのモデルを選べばいいのか分からない」という方も多いでしょう。オープンなモデルは数が多く、名前もパラメータ規模も次々と入れ替わるため、比較しようとしても情報が追いつかない、というご相談をよくいただきます。

しかし、業務で使うローカルLLMは「話題のモデルを選ぶ」だけでは失敗します。日本語の精度、動かすためのGPU、商用利用が許されるライセンスといった条件を外すと、導入後に使えないと分かることがあるためです。

そこで本記事では、

• ローカルLLMを業務で使う前に押さえる基本
• モデルを選ぶ4つの軸（日本語性能・パラメータ規模とVRAM・商用ライセンス・用途）
• 用途別のおすすめモデルと比較
• 動かす方法と、自社導入で失敗しない進め方

についてわかりやすく解説します。社内でローカルLLMの導入を検討しているAI・DX推進のご担当者は、ぜひ最後までご覧ください。

「自社の環境や用途に合うローカルLLMの選び方が分からない」という方は、リベルクラフトへご相談ください。

⇨リベルクラフトのローカルAI環境構築支援の詳細はこちら

ローカルLLMとは｜業務で使う前に押さえる基本

ローカルLLMとは、自社のサーバーや手元のPCといった自前の環境で動かす大規模言語モデル（LLM）を指します。ChatGPTのように外部のクラウドへデータを送るのではなく、モデルそのものを社内に置いて動かす点が最大の違いです。

業務でローカルLLMが選ばれる理由は、主に3つあります。1つ目はセキュリティで、入力した社内情報が外部のサーバーに送られないため、機密情報や個人情報を扱う業務でも使いやすくなります。2つ目はコストで、初期にGPUなどの環境を用意すれば、利用量に応じた従量課金が発生しません。3つ目はオフラインで動かせる点で、インターネットに接続できない閉じた環境でも運用できます。

一方で、クラウドの最上位モデルと比べると単体の性能では及ばないこと、GPUの用意や運用の手間がかかることは前提として押さえておく必要があります。だからこそ、自社の用途に対して「十分な性能を、無理のない環境で動かせるモデル」を選ぶことが重要になります。

なお、本記事で扱うのは、モデルの重み（パラメータ）が公開され、自前の環境にダウンロードして動かせる「オープンウェイトモデル」です。ここからは、その選び方を具体的に見ていきます。

ローカルLLMの選び方｜4つの選定軸

ローカルLLMを業務で選ぶときは、話題性ではなく次の4つの軸で見ると、候補を現実的に絞り込めます。この4軸は、どれか1つでも外すと運用でつまずきやすいポイントです。

選定軸	確認すること	つまずきやすい点
日本語性能	日本語の文章を自然に扱えるか	英語中心のモデルは日本語の精度が落ちることがある
パラメータ規模とVRAM	手持ちのGPUで動く規模か	規模が大きいほど賢いが、必要なGPUメモリも増える
商用ライセンス	業務での商用利用が許されているか	「無料」でも商用利用に条件が付くモデルがある
用途	汎用・コーディングなど目的に合うか	汎用モデルとコーディング特化で得意分野が違う

この表のとおり、性能だけでなく「動かせるか」「使ってよいか」までを合わせて見るのが要点です。それぞれの軸を順に説明します。

日本語性能

社内文書の要約や問い合わせ対応など、日本語で使う業務では、日本語の精度が実用性を左右します。海外製のモデルでも日本語に対応するものは増えていますが、対応言語の広さと日本語の自然さは別問題です。日本語を主に使う場合は、多言語対応で日本語の評価が高いモデルか、日本語に特化したモデルを候補にすると安全です。

パラメータ規模とVRAM

パラメータ規模とは、モデルの規模を表す数値で、8B（80億）や32B（320億）のように示されます。規模が大きいほど回答の質は上がりやすい一方、動かすために必要なGPUメモリ（VRAM）も増えます。目安として、モデルを軽くする量子化（データを圧縮して動かす技術）を使えば、必要なVRAMは抑えられますが、それでも手持ちのGPUで動く規模かどうかは事前に確認が必要です。

商用ライセンス

見落とされがちなのがライセンスです。オープンウェイトモデルでも、商用利用の可否や条件はモデルごとに異なります。Apache 2.0やMITのように商用利用が自由なものもあれば、Metaの「Llama」のように、独自の利用規約に従うことを条件に商用利用を認めるものもあります。Googleの「Gemma」はGemma 3までは規約付きでしたが、2026年4月公開のGemma 4からはApache 2.0の完全許諾に切り替わるなど、ライセンス条件自体も更新されることがあります。業務で使う前に、必ず公式のライセンス表記を確認してください。

用途

最後に、何に使うかで選ぶモデルが変わります。社内問い合わせや文書要約のような汎用用途と、プログラムのコード生成のような専門用途では、得意なモデルが異なります。次章では、この用途別に具体的なモデルを見ていきます。

用途別おすすめのローカルLLM

選定軸を踏まえて、2026年8月時点で業務利用に向くローカルLLMを用途別に紹介します。ライセンスと規模は公式情報にもとづいて記載していますが、オープンウェイトモデルは数か月単位で新世代に入れ替わるため、導入前に各公式ページで最新の情報をご確認ください。

モデル	開発元	パラメータ規模	ライセンス（商用）	日本語	目安VRAM	向いている用途
gpt-oss-20b	OpenAI	21B（うち稼働3.6B）	Apache 2.0（可）	対応	約16GB	汎用・軽量で高性能
Gemma 4	Google	E2B〜31B（26B A4Bは稼働4BのMoE）	Apache 2.0（可・完全許諾に変更）	対応	E2Bで3GB前後〜31Bで20GB前後	軽量〜中型の汎用
Qwen3.5	Alibaba	0.8B〜397B（稼働17BのMoEを含む）	Apache 2.0（可）	対応（多言語）	9Bで8GB前後〜27Bで20GB前後	日本語含む汎用の主力
Qwen3.6-35B-A3B	Alibaba	35B（うち稼働3B・MoE）	Apache 2.0（可）	対応（多言語）	量子化時で約24GB	コーディング
Llama-3-ELYZA-JP-8B	ELYZA（Llama基盤）	8B	Llama 3 Community（条件付き可）	日本語特化	8GB前後	日本語重視の軽量
Sarashina2.2	SB Intuitions	0.5B〜3B	MIT（可）	日本語特化	数GB	日本語の軽量用途

VRAMは量子化を前提としたおおよその目安で、コンテキストの長さや設定によって前後します。以下、それぞれの位置づけを説明します。

軽量に汎用性を求めるなら gpt-oss・Gemma 4

まず手元のPCや小さめのGPUで試したい場合は、軽量でも性能の高いモデルが向いています。OpenAIが公開した「gpt-oss-20b」は、21B規模ながら稼働するパラメータを絞る仕組み（MoE）で、約16GBのメモリで動かせるとされています。上位の「gpt-oss-120b」もありますが、必要VRAMが大きく増えるため、まずは20bから試すのが現実的です。ライセンスはApache 2.0で商用利用も自由です（参考：openai/gpt-oss-20b｜Hugging Face）。

Googleの「Gemma 4」は2026年4月に公開された最新世代で、E2B・E4B・12B・26B A4B（MoE）・31Bの5サイズが揃います。旧世代のGemma 3までは条件付きライセンスでしたが、Gemma 4からはGemmaファミリー初の完全なApache 2.0となり、商用利用の制約が緩和されました。小さいE2B・E4Bなら数GBのGPUでも動かせます（参考：google/gemma-4-31B-it｜Hugging Face）。手元でまず動かして感触を確かめたい段階に向きます。

日本語を含む汎用の主力なら Qwen3.5

業務の中心で日本語も英語もバランスよく使いたい場合は、Alibabaの「Qwen3.5」が有力な選択肢です。2026年2〜3月に公開された最新世代で、0.8Bから397B（稼働17BのMoE）まで幅広いサイズが揃い、いずれもApache 2.0で公開されています。多言語対応で日本語も含まれます（参考：Qwen/Qwen3.5-27B｜Hugging Face）。例えば9B前後を選べば、8GB程度のGPUでも日本語の実務にある程度使える水準を狙えます。商用利用が自由な点も、社内展開では扱いやすい条件です。

コーディング用途なら Qwen3.6-35B-A3B

社内の開発支援やコード生成に使いたい場合は、コーディングに特化したモデルが向いています。Alibabaが2026年4月に公開した「Qwen3.6-35B-A3B」は、35B規模のうち実際に稼働するのは3BというスパースなMoE構成で、量子化すれば24GB前後のGPUでも動かせます。ライセンスはApache 2.0で、コーディング性能を重視した評価が目立つモデルです（参考：Qwen/Qwen3.6-35B-A3B｜Hugging Face）。汎用モデルでもコードは書けますが、専門特化モデルのほうが安定した結果を得やすい傾向があります。なお、より高度な推論や大規模なコード生成まで求める場合は、DeepSeekの蒸留モデル（7B〜32B等）も選択肢に入りますが、フル規模のDeepSeek-V3.2は数百GB級のVRAMが必要になるため、通常の業務用GPUでは現実的でない点に注意してください。

日本語を重視するなら ELYZA・Sarashina

日本語の精度を最優先する場合は、日本語に特化したモデルという選択肢もあります。ELYZAの「Llama-3-ELYZA-JP-8B」は、MetaのLlama 3を日本語で追加学習したモデルで、8Bと軽量ながら日本語で高い評価を得ています。ライセンスはLlama 3 Community Licenseで、利用規約に従うことを条件に商用利用が可能です（参考：elyza/Llama-3-ELYZA-JP-8B｜Hugging Face）。

SB Intuitionsの「Sarashina2.2」は、日本語に強い国産モデルで、MITライセンスのため商用利用も自由です（参考：sbintuitions/sarashina2.2-3b-instruct-v0.1｜Hugging Face）。上位世代のSarashina3はAPI提供が中心になっていますが、Sarashina2.2は2026年8月時点でも重みが公開されたままで、少ないGPUメモリで動かせます。日本語特化モデルは規模が小さくても日本語での使い勝手がよい一方、英語や高度な推論では汎用モデルに譲る場面があるため、用途に応じて使い分けるとよいでしょう。

ここまでの比較で候補は絞れても、自社のGPU環境と扱うデータの性質にどれが最適かは、実際に動かして検証しないと分からない部分が残ります。リベルクラフトでは、モデル選定に加えてGPUサーバーの構成設計や社内データを使ったRAG構築までを一貫して支援し、インターネットに接続しない閉域環境や、扱ったデータを学習に使わない構成にも対応できます。自社に合う構成を相談したい方は、以下からお気軽にご相談ください。

⇨リベルクラフトのローカルAI環境構築支援の詳細はこちら

ローカルLLMを動かす方法｜Ollama・LM Studio

モデルを選んだら、次はそれを動かす環境が必要です。以前は導入の手間が大きかったものの、近年は手軽に試せるツールが整い、入口のハードルは下がっています。

代表的なのが「Ollama（オラマ）」と「LM Studio」です。どちらも、モデルのダウンロードから実行までを数クリック・数コマンドで完結できるツールで、以前のような煩雑な環境構築は不要になっています。

1. Ollamaで動かす（コマンド操作向け）

サーバーでの運用や、コマンド操作に慣れている方に向くのがOllamaです。

1. Ollama公式サイトからインストーラーをダウンロードして実行する
2. ターミナルでモデル名を指定して実行する（例：ollama run gpt-oss:20b）
3. 初回はモデルのダウンロードが自動で始まり、完了後にそのままチャット形式で応答を試せる

先に挙げたモデルの多くは、Ollama経由で数分で動かし始められます。

2. LM Studioで動かす（GUI操作向け）

画面を操作しながら試したい方や、プログラミングに不慣れな方に向くのがLM Studioです。

1. LM Studio公式サイトからインストーラーをダウンロードして実行する
2. アプリ内の検索画面でモデル名を検索し、手持ちのGPU/メモリに合ったサイズ（量子化版）を選んでダウンロードする
3. チャット画面でモデルを選択し、そのまま日本語で応答を試す

まずは手元のPCにどちらかを入れ、小さいモデルで日本語の応答を試すところから始めると、性能や使い勝手の感覚がつかめます。

ただし、手元で試すことと、業務で本格運用することの間には差があります。実務では、複数人が同時に使う想定のGPUサーバーの用意、社内データと組み合わせるRAGの構築、アクセス制御やログ管理といった運用面の設計が必要になります。次章で、その進め方を整理します。

ローカルLLM導入で失敗しないための進め方

ローカルLLMの導入は、いきなり大きな環境を組むより、段階を踏むほうが失敗しにくくなります。ここでは、無理のない進め方を段階を追って説明します。

モデル選定を一度きりで終わらせない

本記事で紹介したGemma 4・Qwen3.5・Qwen3.6も、数か月後には次の世代に入れ替わっている可能性が高いモデルです。「今回どれを選ぶか」だけでなく、「半年後・1年後にモデルを見直す前提で選定プロセス自体を社内に残しておく」ことが、長く使えるローカルLLM環境の条件になります。特にライセンスは、モデルの更新やバージョンアップのタイミングで条件が変わることもあるため、導入直前だけでなく運用開始後も定期的に公式ページを確認してください。構築の判断軸を体系的に整理したい場合は、ローカルLLMの構築ガイドもあわせてご覧ください。

また、モデル単体の精度に不安が残る場合は、無理に大きなモデルへ切り替えるより、社内データと組み合わせるRAGを検討したほうが効果的なことが多くあります。情報漏洩対策など、生成AI活用に伴うセキュリティ面の考え方はAIセキュリティの記事で整理していますので、あわせてご確認ください。

段階的にスモールスタートする

最初から全社向けの大規模な基盤を作ろうとすると、投資判断が重くなり、社内の合意も取りにくくなります。まずは端末1台に小さめのモデルを入れ、特定の業務で試すスモールスタートが現実的です。そこで手応えを確認してから、オンプレミス（自社設置）のAI基盤でRAGを構築し、最終的にファインチューニング（追加学習）で自社業務に特化させる、という順に広げていきます。

各段階の効果を見ながら進めれば、投資に見合う成果が出ているかを都度確認でき、PoC（試験的な導入）で止まるリスクを下げられます。

用途とデータに合わせて規模とモデルを決める

段階を進めるなかで重要なのが、用途に対して過不足のない規模を選ぶことです。大きいモデルほど賢い一方、GPUのコストも運用負荷も上がります。例えば社内問い合わせ対応であれば、最上位の巨大モデルよりも、日本語に強い中型モデルと自社データのRAGを組み合わせるほうが、費用対効果は高くなることが多くあります。

自社の業務で必要な精度と、用意できるGPUの制約の両方から、モデルと規模を逆算して決めるのが実務的な進め方です。

GPUと運用体制を見積もる

最後に、動かし続けるための環境と体制です。オンプレミスでローカルLLMを運用する場合、GPUサーバーの構成が費用の中心になります。構成例としては、48GB級のGPUやDDR5メモリを備えたサーバーが挙げられ、1つの拠点あたりの初期費用は100万円から200万円規模が1つの目安になります（要件により変動します）。

加えて、社内データの整理、アクセス権限の設計、モデルやログの管理といった運用の設計も必要です。ここまで含めて見積もっておくと、導入後に想定外のコストや手間が発生しにくくなります。自社だけで判断が難しい場合は、構築と運用の経験がある事業者に相談すると、遠回りを避けられます。

まとめ

業務で使うローカルLLMは、話題性ではなく自社の条件に合わせて選ぶことが成果につながります。本記事の要点を整理します。

• ローカルLLMは、社内環境で動かせるためセキュリティ・コスト・オフライン運用に強い
• 選ぶときは、日本語性能・パラメータ規模とVRAM・商用ライセンス・用途の4軸で見る
• ライセンスはモデルごとに異なり、Apache 2.0やMITは商用自由。Llamaベースのモデルは規約付きで確認が必要（GemmaはGemma 4からApache 2.0の完全許諾に変更）
• 用途別には、軽量ならgpt-oss・Gemma 4、汎用の主力ならQwen3.5、コーディングならQwen3.6-35B-A3B、日本語重視ならELYZA・Sarashinaが候補
• 動かす入口はOllama・LM Studioが手軽。ただし業務運用にはGPUサーバーとRAGなどの設計が必要
• 導入はスモールスタートで段階的に進め、用途に対して過不足のない規模を選ぶ

まずは手元のPCで日本語の小さいモデルを1つ動かし、自社の業務に対する手応えを確かめるところから始めてみてください。

ローカルLLM導入の相談は「リベルクラフト」

ローカルLLMは、モデルを動かすだけなら手軽になった一方、業務で成果を出すには、自社のデータや用途に合わせた選定・構築・運用の知識と経験が求められます。

リベルクラフトでは、モデルの選定から、GPUサーバーの構成設計、社内データを使ったRAG構築、その後の運用・改善までを一貫して支援しています。社内データの整理から、設計、業務システムとのつなぎ込み、セキュリティ整備までを、お客様の業務に合わせて段階的に進めます。インターネットに接続しない完全オンプレミス・閉域の構成を標準で提供でき、扱ったデータを生成AIの学習に使わない構成も可能なため、機密性の高い現場でも安心して導入いただけます。

• 社内データを外に出さずに使える、自社専用のローカルAI環境を構築したい
• 自社のGPU環境と日本語の業務に、どのモデルが合うか相談したい
• 端末1台のスモールスタートから、RAG・ファインチューニングまで段階的に進めたい

⇨リベルクラフトのローカルAI環境構築支援の詳細はこちら