ローカルLLMを動かしたいと思ったとき、最初にぶつかりやすいのが、
「このモデルには、VRAMが何GBあれば足りるのか？」
という問題です。
7Bなら16GBで十分なのか。32BをRTX 5090で動かせるのか。70BにはGPUが2枚必要なのか。120Bになると、もう個人用PCでは無理なのか。
必要なVRAMは、モデルのパラメータ数だけでは決まりません。
同じ32Bでも、FP16のまま動かすのか、8bitや4bitへ量子化するのかによって必要なメモリは大きく変わります。さらに、長い文章を扱うほどKVキャッシュも増えていきます。
そこでこの記事では、GPU側からではなく、動かしたいLLMのモデルサイズ側から必要VRAMを逆算します。
💡 「GPUのVRAM容量から選びたい」場合
動かしたいモデルではなく、「16GB・24GB・32GBのGPUを買うと何ができるか」から選びたい場合は、別記事の「ローカルLLM用GPUは何GB必要？ 16GB・24GB・32GB VRAMの境界」で詳しく解説しています。
この記事では反対に、
「7B・14B・32B・70B・120Bを動かしたい。では、VRAMは何GB必要なのか？」
という順番で考えていきます。
結論｜モデルサイズ別・必要VRAM早見表
まず、大まかな目安を整理すると次のようになります。
| モデル規模 | Q4系モデルウェイト目安 | 実用上狙いたいVRAM | GPU構成の目安 |
|---|---|---|---|
| 7B | 約4〜5GB | 8〜12GB以上 | 12〜16GB GPUで余裕 |
| 14B | 約8〜10GB | 12〜16GB以上 | 16GB級が扱いやすい |
| 32B | 約19〜21GB | 24〜32GB以上 | 24GBで実用、32GBで余裕 |
| 70B | 約42〜45GB | 48〜64GB以上 | 大容量GPUまたは複数GPU |
| 120B | 約70〜75GB前後※ | 80〜96GB以上 | 80〜96GB級、複数GPUなど |
※一般的なDenseモデルを4bit級で考えた概算。MoEや専用量子化では事情が大きく異なります。
ここだけ見ると、
という明確な階段が見えてきます。ただし、これは「モデルウェイトが載るか」だけで考えた場合の話です。実際には、モデル以外にもメモリを使います。
なぜ「○B」だけでは必要VRAMが決まらないのか
7B、32B、70Bの「B」は、Billion、つまり10億を意味します。7Bなら約70億パラメータ、70Bなら約700億パラメータです。
単純に考えれば、パラメータが10倍になれば、それを保存するためのメモリも約10倍必要になります。ところが、実際の必要VRAMは、
「パラメータ数 × 1パラメータあたりのデータ量」
によって変わります。
例えばFP16（半精度浮動小数点数）では、1パラメータを基本的に16bit＝2byteで保持します。そのため、
70B × 2byte ≒ 140GB
となり、70BモデルをFP16のまま1枚の一般的なGPUへ載せるのは物理的に不可能です。そこでローカルLLMにおいて極めて重要になるのが量子化（Quantization）です。
量子化すると、なぜ必要VRAMが減るのか
量子化とは、モデルの重みをより少ないビット数で表現する方法です。
- FP16： 16bit（2.0 byte / weight）
- Q8系： 約8bit（約1.0 byte / weight）
- Q4系： 約4〜5bit（約0.5〜0.6 byte / weight）
- Q2系： 約2〜3bit（約0.3〜0.4 byte / weight）
llama.cppのQ4_K_Mでは、Llama 3 8Bの例で実効約4.89bit/weightとなっており、FP16の約16bit/weightと比べてモデルサイズを大幅に圧縮できます。大まかに考えるなら、
モデルウェイト ≒ パラメータ数 × 実効bit数 ÷ 8
例えば70Bを単純な4bitとして計算すると、
700億 × 4bit ÷ 8 ≒ 35GB
となります。ただし実際のGGUF形式ではレイヤーごとの重要度に応じた量子化やスケール情報なども含むため、4bit量子化だから必ず「0.5byte × パラメータ数」になるわけではありません。
Q4_K_Mでは70Bモデルが40GB台になるケースもあり、llama.cppではLlama 3.1 70BのQ4_K_Mが約43.1GBという例が示されています。
そのため、ローカルLLMのGPU選びでは、「4bitだから70B＝35GB」とギリギリで計算するより、ある程度の余裕を持たせる必要があります。
7B｜ローカルLLMを始めやすいサイズ
7B級は、現在のローカルLLM環境では比較的扱いやすいサイズです。
Q4系ならモデルウェイトはおおむね4〜5GB前後。8GB VRAMでも条件によって動かせますが、コンテキスト長や他の処理まで考えると、12GB以上あると扱いやすく、16GBならかなり余裕があります。
例えばQwen2.5-7B-Instructは7.61Bパラメータのモデルです。ローカルLLMを、
- まず試してみたい
- チャット用途で手軽に使いたい
- RAGや簡単なAIエージェントアプリを作りたい
- 小型モデルを高速に推論させたい
という用途なら、7B級は現在でも有力です。一方で、16GB VRAMのGPUを用意するのであれば、7Bだけをターゲットにするのは少し余裕があります。その場合は次の14B級まで視野に入ります。
14B｜16GB VRAMが本領を発揮し始める
14B級をQ4で動かす場合、モデルウェイトはおおむね8〜10GB程度になります。Qwen2.5-14B-Instructは14.7Bパラメータです。
12GBでも設定次第では動かせますが、実用性を考えるなら16GB VRAMが一つの分かりやすい基準です。
16GBあれば、
- 7BをQ8など高精度な量子化で余裕を持って動かす（モデルによってはFP16も視野に入る）
- 14Bを4bit前後（Q4_K_M）で動かす
という選択ができます。このあたりから「VRAM 16GBを選ぶ意味」が明確になってきます。ローカルLLMを本格的に試したいものの、RTX 5090のような32GB GPUまでは手が出ない、という人には最もバランスのよいゾーンです。
具体的なGPU製品の比較については、当サイトの「ローカルLLM向けGPUおすすめ比較」も参照してください。
32B｜24GBと32GBの差が見えてくる
ローカルLLM用GPUを選ぶ際、一つの大きな境界になるのが32B級です。例えばQwen2.5-32B-Instructは32.5Bパラメータ。Q4系ならモデルウェイトは20GB前後まで圧縮できます。
そのため、24GB VRAMでも32B級を狙えるようになります。ただし、ここで注意したいのが、
「モデルがVRAMに入る」ことと、「余裕を持って実用運用できる」ことは違う
という点です。24GBのうち20GB以上をモデルウェイトが占有すると、KVキャッシュや実行時バッファへ使える余裕は小さくなります。
そのため32B級をローカルLLMの中心にしたいのであれば、24GBは実用ライン、32GBは余裕を持たせた本命ラインと考えると分かりやすいでしょう。
GeForce RTX 5090は32GB GDDR7を搭載しています。RTX 5090の32GBという容量は、単にゲームや画像生成用として大きいだけではなく、「32B級LLMを1枚のGPUで扱いやすくする容量」という意味でも大きな価値があります。
70B｜32GBでは「載らない」世界へ入る
32Bから70Bになると、必要な計算資源は一段変わります。
Q4_K_M級でも、70Bのモデルウェイトは40GBを超えるケースがあります。つまり32GB VRAMのRTX 5090であっても、モデル全体を単一のGPUメモリへ載せることはできません。
ここから選択肢は大きく3つになります。
- モデルの一部をシステムRAMへオフロードする方法（メインメモリの活用）
- 複数GPUに分割する方法（RTX 5090×2枚など）
- 48GB・64GB・96GBといった大容量GPUを使う方法（RTX PRO 6000など）
CPU/RAMへのオフロードを使えば32GB以下のGPUでも70B級を動かすこと自体は可能ですが、GPUだけで処理する場合と比べて速度面では不利になりやすくなります。
そのため70B級を日常的に使うなら、「動くか」ではなく「どこまでGPU上に置けるか」を見ることが重要です。
例えばRTX 5090を2枚使えば、単純なVRAM容量としては32GB＋32GB＝64GBになります。ただし複数GPUは1枚の64GB GPUと完全に同一ではありません。GPU間通信、マザーボードのPCIeレーン分割、1500W級電源、冷却、ソフトウェア側の対応なども考える必要があります。
70Bから先は、単純なGPU性能競争というより、「計算資源をどう構成するか」というアーキテクチャの問題になってきます。
120B｜「個人PCでは無理」とは限らなくなった
120B級になると、さらに事情が複雑になります。一般的なDense（高密度）型120BモデルをQ4級で考えれば、モデルウェイトだけでも70GB前後になる可能性があります。そのため、80GB〜96GBクラスのGPUが一つの目安になります。
しかし、「120Bなら必ず100GB以上必要」と断定するのも正確ではありません。モデルのアーキテクチャによって事情が変わるためです。
代表的なのがMoE（Mixture of Experts）です。
OpenAIのgpt-oss-120bは117Bパラメータを持つ一方、推論時にアクティブになるのは約5.1Bパラメータです。また、ウェイトはMXFP4で提供され、OpenAIは単一の80GB GPUで動作可能としています。
「120B」という数字だけを見て必要VRAMを一律に判断することはできない
DenseなのかMoEなのか。どの量子化形式を使っているのか。推論エンジンがどこまで最適化されているのか。120B級では、この違いが極めて大きくなります。
96GB VRAMになると何が変わる？
NVIDIA RTX PRO 6000 Blackwell Workstation Editionは、96GB GDDR7 ECCメモリを搭載しています。
32GBのRTX 5090と比較すると、VRAM容量はちょうど3倍です。この差は、ローカルLLMでは単純な「余裕」の差ではありません。扱えるモデルの階層そのものが変わります。
32GBでは32B級が中心になりますが、96GBあれば、
- 70B級を余裕を持ってGPU上へ丸ごと置く
- より高精度な量子化（Q8など）を選ぶ
- 長いコンテキスト長に対して潤沢なKVキャッシュ余白を残す
- 80GB前後を要求する120B級モデルを1枚のカードで狙う
といった選択肢が現実的になります。そのためRTX PRO 6000は、単にRTX 5090より高速なGPUというより、「RTX 5090ではメモリ容量によって入れなかった領域へ進むためのGPU」と考えた方が、本質に近いでしょう。
詳細は当サイトの「RTX 5090とRTX PRO 6000を比較：32GB・2枚差し・96GB巨大空間」でも詳しく解説しています。
忘れてはいけない「KVキャッシュ」
ここまでモデルウェイトを中心に説明してきましたが、実際のVRAM使用量にはもう一つ重要な要素があります。それがKVキャッシュ（Key-Value Cache）です。
LLMは会話や文章を処理するとき、それまでのトークンに関する情報を保持します。コンテキストが長くなるほどKVキャッシュも増えるため、同じモデルでも、8Kコンテキストと128Kコンテキストでは必要VRAMが同じではありません。
Qwen2.5-32B-Instructは最大131,072トークン（128K）の長いコンテキストをサポートしています。しかし「128K対応モデルだから128Kで使える」ということと、「自分のGPUで128Kを快適に扱える」ということは別問題です。
必要VRAM ≒ モデルウェイト ＋ KVキャッシュ ＋ 実行時バッファ ＋ システム余白
だからこそ、「20GBのモデルが24GB GPUに入る＝24GBで何でもできる」とは限りません。GPUを選ぶときは、モデルファイルがギリギリ入る容量ではなく、ある程度の余白を確保した方が運用しやすくなります。
「最低VRAM」と「おすすめVRAM」を分けて考える
ローカルLLM用GPUを考える際には、「最低何GB必要か」だけを見ると判断を誤りやすくなります。重要なのは、
- そのモデルが起動する最低ライン
- 日常的に余裕を持って使いやすいライン
を分けることです。
例えば32B Q4モデルが20GB程度なら、24GB GPUでも載せられる可能性があります。しかし長いコンテキストを使ったり、別の処理を同時に走らせたりするなら32GBの方が扱いやすい。同様に70B Q4が43GB程度なら48GBでも計算上は近いですが、64GB以上あれば余裕は大きくなります。
| 動かしたいモデル | 最低ラインの目安 | 余裕を持つなら（推奨） |
|---|---|---|
| 7B | 8GB | 12〜16GB |
| 14B | 12GB | 16GB |
| 32B | 24GB | 32GB |
| 70B | 48GB前後 | 64GB以上 |
| 120B | 80GB前後※ | 96GB以上 |
※モデル構造・量子化方式によって大きく異なります。
VRAMが足りないなら、RAMへ逃がせばいい？
ローカルLLMには、モデルの一部をGPUのVRAMではなくPC側のメインメモリ（RAM）へ置く「CPUオフロード」という方法があります。
例えば64GB必要なモデルを、32GB VRAM＋大容量RAMという構成で動かせる場合があります。そのため、「VRAMに収まらない＝絶対に動かない」わけではありません。
ただし、CPUとGPUの間にはメモリ帯域（Bandwidth）の圧倒的な差が存在します（GDDR7の1.8TB/s前後 vs DDR5の数十〜100GB/s程度）。モデルの大部分をRAMへ逃がすほど、推論速度は急激に低下します。
「RAMを128GB積めばVRAM 128GBと同じ」と考えることはできません。このメモリ帯域幅の壁とオフロードの現実については、別記事の「RAM 128GBでVRAM不足は補える？ オフロードの限界」で詳しく解説しています。
また、大容量メモリを活かしたアプローチとしては、Macのユニファイドメモリ環境もあります。これについては「Mac StudioとRTX搭載BTOはどっちがローカルLLM向き？」を参考にしてください。
結局、どのモデルサイズを基準にGPUを選べばいい？
最後に、目的別に整理します。
ローカルLLMを試したい、RAGやAIアプリを作りたい、小〜中規模モデルを高速に扱いたいという用途なら、まずこのゾーンです。RTX 5060 Ti 16GBやRTX 5070 Ti、RTX 5080が候補になります。
24GB（RTX 5090 Laptop等）でも現実的ですが、コンテキスト長や長期間の運用を考えるなら32GBには大きな意味があります。RTX 5090の32GBはこのゾーンと非常に相性がいい容量です。
システムRAMへのオフロード、デュアルGPU（RTX 5090×2枚）、大容量プロフェッショナルGPUなどを比較する段階に入ります。
ただしMoEや専用量子化によって必要メモリは大きく変わります。この領域では単純な「パラメータ数÷VRAM」ではなく、モデルごとに実際のメモリ要件を確認する必要があります。
まとめ｜モデルが決まれば、必要な計算資源が見えてくる
ローカルLLM用GPUを選ぶとき、最初から「16GBと32GBのどちらを買うべきか」と悩む必要はありません。
先に考えたいのは、
「自分はどのサイズのモデルを動かしたいのか」
です。
- 7B〜14Bなら16GB。
- 32Bなら24〜32GB。
- 70Bなら48〜64GB以上。
- 120B級まで見据えるなら80〜96GB級。
このようにモデルサイズから逆算すると、必要な計算資源が見えやすくなります。
そして、モデルが大きくなるほど、「どのGPUが速いか」から「どうやって必要なメモリ空間を確保するか」へ、PC選びの論点そのものが変わっていきます。
32Bまでなら、1枚のコンシューマーGPUで完結しやすい。70Bになると、オフロードや複数GPUが視野に入る。120Bになると、96GB級のプロフェッショナルGPUまで選択肢に入ってくる。
ローカルLLMにとってVRAMは、単なる性能指標ではありません。「どの規模のAIを、自分の手元に置けるか」を決める計算資源そのものです。
次にGPU側から考えたい場合は、「ローカルLLM用GPUは何GB必要？ 16GB・24GB・32GB VRAMの境界を考える」を。PC全体の構成を考えたい場合は、「ローカルLLMに必要なPCスペック総合ガイド」をあわせて確認してください。
