ローカルLLMに必要なスペック早見。モデル規模・VRAM・GPUの選び方

ローカルLLMを自社で動かしたいものの、どのくらいのスペックのマシンを用意すればよいか分からず止まっている、という方も多いでしょう。しかし、モデルの規模やGPUの種類ごとに必要な条件が大きく変わるため、目安を知らないまま高価なGPUを買ってしまうと過剰投資にも投資不足にもなりかねません。そこで本記事では、

• モデル規模とVRAMの関係
• 量子化による必要スペックの下げ方
• GPU選びと用途別の3段階構成

についてわかりやすく解説します。社内でローカルLLMの導入を検討している方はぜひ最後までご覧ください。

自社の業務に合ったローカルLLM環境を、スペック選定から構築まで任せたいという方はリベルクラフトへご相談ください。 ⇨リベルクラフトのローカルAI環境構築支援の詳細はこちら

ローカルLLMのスペックは「動かすモデル」から逆算する

ローカルLLMとは、ChatGPTのようなクラウドサービスを使わず、自社のPCやサーバー内で動かす大規模言語モデル（LLM）を指します。必要スペックを考えるうえで最初に押さえておきたいのは、スペックは「どのモデルを動かすか」から逆算して決まる、という点です。

ローカルLLMで最も効くのはGPUのVRAM（グラフィックボード上のメモリ）容量です。モデルの重みがVRAMに収まりきらないと、処理の速度が桁単位で落ちるか、そもそも起動できません（出典：mypcrig.com「ローカルLLM向けGPUの選び方ガイド 2026年版」）。したがって、まず動かしたいモデルの規模を決め、そこから必要なVRAM、最後にGPUという順番で逆算するのが失敗しない考え方です。以下では、その要素を順番に見ていきます。

ローカルLLMのモデル規模とVRAMの関係

ローカルLLMの規模は、7B（70億パラメータ）や70B（700億パラメータ）のように「B（Billion＝10億）」の数字で表されます。この数字が大きいほど回答の質は上がりやすい一方、必要なVRAMも増えていきます。

必要なVRAMは、おおまかに「モデルの重みの容量＋処理中に使う一時領域（KVキャッシュ）」で決まります。4bit量子化（後述）を前提とした場合の目安は、次のとおりです。

モデル規模	重みの容量の目安	必要VRAMの目安
7〜8B	約5GB	8GB
13〜14B	約9GB	12〜16GB
30〜32B	約20GB	24GB
70B	約40〜43GB	48GB（32GBではぎりぎり）
100B超・高精度設定	70GB〜	96GB〜

出典：mypcrig.com「ローカルLLM向けGPUの選び方ガイド 2026年版」

この表からわかるのは、7〜8Bクラスなら8GB程度のVRAMで動く一方、70Bクラスになると48GB級のVRAMが目安になる、という規模の開きです。例えば70Bクラスのモデル（Llama 3.3 70Bなど）を4bit量子化で動かすと、重みだけで約44GBを占めるため、フルにGPUへ載せるには48GBクラスが最小ラインとされています（出典：mypcrig.com「48GB VRAMで組むローカルLLM母艦PCの構成ガイド 2026年版」）。まずは「どの規模のモデルが業務に必要か」を見極めることが、スペック選定の起点になります。

量子化でローカルLLMの必要VRAMを下げる

前の項目で「4bit量子化を前提とした場合」と書きましたが、この量子化こそが、必要VRAMを大きく左右する仕組みです。

量子化とは、モデルの重みを表す数値の精度を下げてデータ量を圧縮する技術を指します。ローカルLLMでよく使われるのがGGUFという形式で、Q4（4bit）やQ8（8bit）のように圧縮の強さが分かれています。数字が小さいほどファイルは軽くなりますが、精度はわずかに下がります。

例えば70Bクラスのモデルを圧縮なしのFP16（16bit精度）で動かすと約140GBものVRAMが必要ですが、4bit（Q4_K_Mなど）に量子化するとモデルサイズは約40GB程度まで縮小します（出典：media.tcdigital.jp「『Q4_K_Mなら安全』は本当か？」）。同じ出典によれば、Q4_K_Mは精度の劣化が2〜5%程度にとどまり、対話用途ではほとんど差を感じにくいとされ、精度とサイズのバランスがよい選択肢として挙げられています。VRAMに余裕があればQ5やQ6を、VRAMが限られる場合はQ3なども検討する、という使い分けになります。

量子化の強さ別に、8Bと14Bを例にした必要VRAMの目安を整理すると、次のようになります。

量子化	8Bモデル（コンテキスト4096時）	特徴
Q4_K_M（4bit）	約6〜7GB	精度と軽さのバランス型。標準的な選択
Q5・Q6（5〜6bit）	Q4より増える	精度をやや優先。VRAMに余裕があるとき
Q8（8bit）	さらに増える	精度重視。容量に余裕が必要

出典：media.tcdigital.jp「『Q4_K_Mなら安全』は本当か？」

なお、上記はいずれも「目安」であり、コンテキスト長（一度に処理する文章の長さ）を伸ばすとKVキャッシュが増え、必要VRAMは上振れします。長い社内文書をまとめて読ませたい場合は、モデル規模だけでなくコンテキスト長も見込んでVRAMに余裕を持たせておくと安全です。

ローカルLLMのGPU選び｜コンシューマ向けとデータセンター向け

必要VRAMの目安が見えたら、次はそれを満たすGPUを選びます。GPUは大きく、個人でも入手しやすいコンシューマ向けと、業務用途のデータセンター向けに分かれます。

VRAM容量別の主なGPU候補は、次のとおりです。

GPU	VRAM	目安の位置づけ
RTX 5060 Ti	16GB	7〜14Bクラス向けの入門
RTX 3090（中古）	24GB	24〜32Bクラス。2枚で48GB構成も可能
RTX 5090	32GB	32Bを快適に、70Bは一部工夫が必要
RTX PRO 5000クラス	48GB	70Bクラスを1枚で扱える現実的な最小構成
RTX PRO 6000クラス	96GB	100B超や高精度設定に対応

出典：mypcrig.com「ローカルLLM向けGPUの選び方ガイド 2026年版」、mypcrig.com「48GB VRAMで組むローカルLLM母艦PCの構成ガイド 2026年版」

コンシューマ向けのGPUは価格が抑えやすく、まず試すには十分です。一方、48GBや96GBといった大容量が必要な場合は、業務用のGPUや、24GBのGPUを複数枚組み合わせる構成が選択肢になります。例えば中古のRTX 3090（24GB）を2枚組み合わせて48GBを確保し、70Bクラスを動かすという方法もあり、新品の大容量GPUより費用を抑えられる場合があります（出典：mypcrig.com「48GB VRAMで組むローカルLLM母艦PCの構成ガイド 2026年版」）。VRAM容量を最優先に選ぶ、という原則は共通です。

具体的な価格帯も見ておくと、投資判断がしやすくなります。2026年8月時点の実勢価格を見ると、RTX 5060 Ti（16GB）は新品で9万円前後、RTX 3090の中古（24GB）はオークション相場で18万円前後です。ただしRTX 3090世代は2021〜2022年の仮想通貨マイニングブームで酷使された個体が市場に多く混在しているため、購入時は動作保証や使用時間の開示があるショップを選ぶなど、個体のリスクを見極める必要があります。RTX 5090（32GB）は発売当初から値上がりが続き、2026年8月時点で70万円前後まで上昇しました。業務用途のRTX PRO 5000クラス（48GB）は100万円前後〜125万円程度、RTX PRO 6000クラス（96GB）はメモリ不足の影響で発売当初の想定からほぼ倍額まで値上がりし、250万円規模の投資になります（出典：各GPU価格比較サイト・NVIDIA公式発表、2026年8月時点の実勢価格）。いずれもDRAM・VRAMの需給ひっ迫によって価格変動が大きいため、導入時期の実勢価格を都度確認した上で予算を組むことをおすすめします。中古RTX 3090を複数枚組み合わせる構成は、個体のリスクを許容できるなら初期費用を抑える有力な選択肢になりますが、業務で安定稼働させたい場合は、保証のある新品や業務用GPUを軸にした方が長期的な運用コストは読みやすくなります。

ここまでローカルLLMのGPU選びについて解説しましたが、「自社の業務でどの規模のモデルが必要で、どのGPU構成が妥当か判断できない」という方は、リベルクラフトへご相談ください。

リベルクラフトでは、動かしたい業務とデータ量から逆算して、モデル規模とGPU構成を含めたスペック設計が可能です。ただ機材をそろえるだけでなく、社内データを使ったRAGや、インターネットに接続しない閉域構成まで含めて設計できるため、自社の情報を外に出さずに使える環境が構築できます。

以下のリンクからまずは詳細をチェックしてみてください。

⇨リベルクラフトのローカルAI環境構築支援の詳細はこちら

Mac・ノートPCでローカルLLMは動くか

ここまではデスクトップ向けの据え置きGPUを前提に解説してきましたが、「手元のノートPCやMacでどこまで動くか」も検討時によく出てくる論点です。Mac・ノートPCはデスクトップGPUと仕組みが異なるため、ここで整理しておきます。

MacのApple Siliconは、CPUとGPUで同じメモリ領域を共有する「統合メモリ（ユニファイドメモリ）」という構成を採ります。Windows機のように「メインメモリ＋GPUのVRAM」を別々に用意する必要がなく、Ollamaなどのツールはこの統合メモリ上でモデルを動かします（出典：nsd.me「ローカルLLM用PCスペックの目安【2026年7月版】」）。購入時のメモリ容量は、軽く試したいだけなら16GBから始められますが、選べるなら24GB以上を推奨します。RAGや長文の社内文書処理まで見据えるなら32GB以上、余裕を持たせるなら48GBや64GBの構成が目安です。Macは購入後にメモリを増設できないため、用途に応じて最初から厚めの構成を選んでおくことが重要です（出典：同上）。

ノートPCでローカルLLMを検討する場合は、GPUの「名前」だけで判断すると失敗しやすい点に注意が必要です。ノートPC向けGPUは、同じ製品名でもデスクトップ版よりVRAMが少なく設計されていることが多いためです。例えば、RTX 5090はデスクトップ版で32GBのVRAMを持ちますが、ノートPC版（RTX 5090 Laptop GPU）は24GBにとどまります。同様にRTX 5070 Tiもデスクトップ版16GBに対し、ノートPC版は12GBです。ノートPCはGPUの電力設定によって速度が変わり、長時間の推論では冷却や騒音の影響も受けやすいため、性能を優先するならデスクトップの方が有利です（出典：ai-toptier.com「ローカルLLMにおすすめのPC・スペックは？」）。

VRAMが限られるノートPCや、そもそもGPUを搭載しない低スペックなPCでは、無理に大きなモデルを動かそうとせず、7〜8Bクラスの軽量モデルを4bit量子化で動かす、あるいはCPU推論に切り替えるのが現実的な選択肢です。GPU推論に比べて速度は劣りますが、社内でローカルLLMの手触りを確かめる最初のステップとしては十分に機能します。

CPUのみで動かした場合の速度感も、具体的な数値で押さえておくと判断しやすくなります。GPUを搭載しない第12世代Core i7クラスのノートPCで検証した例では、7Bクラスのモデル（Mistral 7B）で生成速度が毎秒7〜8トークン程度、8Bクラスの日本語モデル（ELYZA JP 8B）でも同程度の毎秒7トークン前後にとどまったという報告があります。3B程度の軽量モデルであっても、毎秒14〜15トークン程度が上限の目安です（出典：ASCII.jp「”GPUなし”ノートPCでローカルLLMを比較検証、どれだけ動く？」）。人が文章を読む速度に近いとされる毎秒10〜20トークン程度と比べると、7〜8BクラスをCPUのみで日常的な対話用途に使う場合、返答をやや待たされる体感になります。社内での一時的な検証や、多少の待ち時間を許容できるバッチ処理のような用途であれば実用範囲ですが、複数人が同時に使う運用や、チャットのようにテンポよく対話したい用途では、CPUのみでの運用を前提にせず、早い段階でGPUの追加を検討したほうが現実的です。

ローカルLLMのCPU・メモリ・ストレージの考え方

GPUに注目が集まりがちですが、CPU・メモリ・ストレージも快適さを左右します。役割を押さえておくと、無駄のない構成が組めます。

まずメインメモリ（RAM）は、GPUのVRAMを補う位置づけです。VRAMに載りきらない分をメインメモリで受けることがあるため、余裕を持たせておくと安定します。目安としては、GPUのVRAMが8GB以上あることに加え、メインメモリは16GB以上、より余裕を持たせるならDDR5-5200やDDR5-5600の32GBが推奨されています（出典：harmonic-society.co.jp「ローカルLLMに必要なPCスペック【2026年版】」）。

CPUについては、GPUで推論する場合は極端に高性能なものは必須ではありません。ただし、GPUを積まずにCPUだけで動かす場合は、小型のモデルであれば実用的な速度が出せます（出典：harmonic-society.co.jp）。

ストレージは、モデルのファイルを保存する場所です。モデルは1つで数GB〜数十GBあり、複数試すと容量を消費します。目安としては、まずSSDの空き容量を最低50GB、できれば100GB以上確保しておくと始めやすく、RAG（社内文書を検索して回答に使う仕組み）まで進めるなら300GB以上、業務資料を継続的に増やすなら1TB以上も現実的とされています（出典：nsd.me「ローカルLLM用PCスペックの目安【2026年7月版】」）。

ローカルLLM導入は個人PC・小規模・本格運用の3段階で考える

ここまでの要素を踏まえると、必要スペックは「何を目指すか」で3段階に整理できます。いきなり本格運用の構成をそろえる必要はなく、段階的に進めるのが現実的です。

• 個人PCでの試用：7〜8Bクラスを4bit量子化で動かす段階です。VRAM8〜16GBのコンシューマ向けGPUを積んだPCで試せます。まず社内でローカルLLMの手触りを確かめるのに向いています。
• 小規模の部門利用：14〜32Bクラスを想定する段階です。VRAM24GB前後のGPUに、メインメモリ32GB、ストレージ数百GBを用意すると、社内文書を使ったRAGなども試しやすくなります。
• 本格運用：70Bクラスを安定して動かし、複数人で使う段階です。48GB級のVRAMを持つGPUを備えたサーバーが目安になります。

例えば、まず既存のビジネスPCに近い構成でスモールスタートし、有用性が確認できてから部門利用、社内基盤へと広げていくと、投資の無駄が出にくくなります。次の項目では、本格運用にあたる自社サーバー構成の考え方を補足します。

自社サーバーでローカルLLMを組む場合の考え方

複数人で日常的に使う本格運用の段階では、個人PCではなく、自社に設置するオンプレGPUサーバーを検討することになります。ここでの構成の考え方を整理しておきます。

方針としては、70Bクラスまで見据えるなら48GB級のGPUを軸にし、メインメモリはDDR5で十分な容量を確保、ストレージはモデルと社内データの増加を見込んで大きめに取る、というのが基本になります。GPUのVRAM容量を起点に、CPU・メモリ・ストレージをバランスよく組み合わせる形です。

リベルクラフトでオンプレGPUサーバーを構築する場合の構成例としても、48GB級のGPUとDDR5メモリを組み合わせた形を採ることが多く、1顧客あたりの初期費用は100〜200万円規模が目安になります（あくまで目安であり、扱うモデル規模や利用人数、周辺の整備範囲によって変動します）。単に機材を用意するだけでなく、社内データを扱うためのRAG構築や、インターネットに接続しない閉域構成まで含めて設計することで、機密性の高いデータも社外に出さずに活用できる基盤になります。

自社でどこまでの構成が必要かは、動かしたいモデル規模と利用人数、扱うデータの機密性によって変わります。過不足のない構成を見極めるには、業務要件から逆算した設計が欠かせません。

まとめ

本記事では、ローカルLLMに必要なスペックの考え方を解説しました。要点は次のとおりです。

• スペックは「動かすモデルの規模」から逆算して決める。最も効くのはGPUのVRAM容量。
• 4bit量子化を前提にすると、7〜8Bで8GB、30〜32Bで24GB、70Bで48GBが必要VRAMのおおまかな目安。
• 量子化（GGUFのQ4など）で必要VRAMを大きく下げられる。Q4_K_Mは精度と軽さのバランス型。
• GPUはコンシューマ向けと業務用に分かれ、VRAM容量を最優先に選ぶ。48GB級が70Bクラスを1枚で扱える最小ライン。
• Macは統合メモリのため購入時にメモリ容量を厚めに選ぶ。ノートPCはGPUの「名前」でなくVRAM値を確認する。
• メインメモリは16GB以上（余裕を持たせるなら32GB）、ストレージは用途に応じて100GB〜1TB以上を確保する。
• 個人PCでの試用、小規模の部門利用、本格運用の3段階で段階的に進めると投資の無駄が出にくい。
• 本格運用は48GB級GPUのオンプレサーバーが目安。初期費用は100〜200万円規模が目安（変動あり）。

数値はいずれも目安であり、コンテキスト長や利用人数によって上下します。まずは動かしたい業務を決め、そこから逆算するのが失敗しない進め方です。

ローカルLLM環境構築の相談は「リベルクラフト」

ローカルLLMは、スペックを選ぶだけでなく、社内データの整備や運用まで含めて成果を出すには専門的な知識と経験が求められます。モデル規模の見極めやGPU構成の判断で迷った場合は、専門家に相談するのが近道です。

リベルクラフトでは、環境を構築するだけでなく、運用・改善まで一貫して支援します。社内データの整理から、モデルとGPUを含めたスペック設計、RAGなどへのつなぎ込み、インターネットに接続しない閉域構成でのセキュリティ整備まで、お客様の業務に合わせて進めます。

• 自社の業務に必要なモデル規模とGPU構成を、要件から逆算して設計してほしい
• 社内文書を安全に扱えるローカルLLM基盤（オンプレ・閉域）を構築したい
• スモールスタートから本格運用まで、段階的に環境を広げていきたい

⇨リベルクラフトのローカルAI環境構築支援の詳細はこちら