ローカルLLM VRAM早見表 2026年8月 — どのGPUで何が動く？

12GBのGPUは、画面表示・OS予約を差し引くと実質10.5GBほど使えます。この範囲ならQ4量子化で8B級(Llama 3.1 8B・Qwen2.5 7B・Mistral 7B・DeepSeek-R1蒸留7B/8B、実効約5〜6GB)は余裕、Gemma 2 9B(約6.9GB)も動きます。14B級はQ4でぎりぎり(約10.5GB)で、コンテキストを長く取ると溢れやすいので、快適に使うなら8〜9B級のQ4、または8B級をQ8(約10GB)で高品質に、が現実的です。数値は「重み=パラメータ数×ビット幅÷8」からの算術目安で、実際はコンテキスト長やランタイムで前後します。

本サイトの数値は実測ではなく、公開されているパラメータ数からの算術計算です。まず「重み(GB) = パラメータ数(B) × 量子化ビット幅(bpw) ÷ 8」。bpwはFP16=16、Q8≒8.5、Q4≒4.8、Q2≒2.9(GGUFの代表値)。例えば7Bモデルの重みは、FP16で7×16÷8=14GB、Q4で7×4.8÷8≒4.2GBです。これに推論ランタイムの作業領域とKVキャッシュを見込み「実効VRAM目安 = 重み×1.1 + 0.8GB」を早見の基準にしています(コンテキスト約4Kトークン・短文前提)。前提と式は方法論セクションに全部開示しています。

重みはビット幅にそのまま比例します。FP16(16bit)を基準に、Q8(≒8.5bit)で約53%、Q4(≒4.8bit)で約30%、Q2(≒2.9bit)で約18%まで小さくなります。8Bモデルなら重みはFP16で約16GB→Q8で約8.5GB→Q4で約4.8GB→Q2で約2.9GB。実用上はQ4_K_M(≒4.8bpw)が品質と軽さのバランスが良く、ローカル実行の定番です。Q2は最小ですが精度低下が大きいので、VRAMがどうしても足りないときの最終手段と考えてください。

増えます。重みとは別に「KVキャッシュ」がコンテキスト長に比例して積み上がります。素朴な計算式は「KV(GB) = 2 × 層数 × (KVヘッド数×ヘッド次元) × トークン数 × 2バイト ÷ 10億」。例えばLlama 3.1 8B(層数32・KVヘッド8・ヘッド次元128)を8,192トークンで動かすと約1.07GBです。近年のモデルはGQA(Grouped-Query Attention)でKVヘッドを減らしており、素朴なMHAより大幅に小さく済みます。早見表は約4Kトークン前提の+0.8GBに含めています。数万トークンを扱う場合は、この式でKVを別途見積もってください。

順に、(1)量子化を上げる(Q8→Q4→Q2)と重みが小さくなります。(2)より小さいモデル(70B→32B→14B→8B)に変える。(3)コンテキスト長を短くしてKVキャッシュを減らす。(4)一部の層をCPU/システムメモリにオフロードする(llama.cpp/Ollamaが対応、速度は落ちます)。それでも載らない大型モデル(70B級はQ4でも約47GB)は、24GB単体では厳しいので、48GB級GPU・複数GPU構成、あるいは時間単位で借りられるクラウドGPUや、自前で動かさずAPIを使う選択肢も現実的です。

MoE(Mixture of Experts)は、推論のたびに全エキスパートのうち一部だけを計算します。Mixtral 8x7Bは推論あたり約12.9B相当しか動きませんが、どのエキスパートが選ばれるかは入力ごとに変わるため、VRAMには全エキスパートの重み(総46.7B分)を載せておく必要があります。したがってVRAM計算はアクティブパラメータではなく総パラメータで行います。Mixtral 8x7BはQ4でも重み約28GB(実効約31GB)で、24GB単体では不足し、48GB級以上が目安です。

重み部分(パラメータ数×ビット幅÷8)は算術なので、量子化方式のbpwが表どおりなら誤差はほぼありません。一方でK-quantの派生(Q4_K_S等)や埋め込み・出力層の扱いでbpwは多少前後し、実効VRAMに乗せているランタイム作業領域・KVキャッシュはランタイム(llama.cpp/vLLM/Transformers)やコンテキスト長で変わります。そのため本表は「実測値」ではなく「算術目安」です。ぎりぎりのケース(GPU容量の±1〜2GB以内)では、実際に動かして確認することをおすすめします。パラメータ数は各モデルのHugging Face公式モデルカードを出典にしています。

よく検索される「ローカルLLMの作り方」は、モデルをゼロから作ることではなく「手元のPCでモデルを動かす環境の構築」を指すのが普通です。手順は、①手持ちGPUのVRAM容量(8/12/16/24GB等)を確認する ②本サイトの早見表・計算機で、その容量に収まるモデル×量子化(例: 12GBなら8B級のQ4)を決める ③OllamaやLM Studioなどの実行環境(本サイト掲載の公式リンク参照)をインストールする ④その環境からGGUF等の量子化モデルをダウンロードして実行する、の4段階です。最初の分かれ道は「どのモデルなら自分のGPUに載るか」で、そこを間違えると起動すらしないため、本サイトはこの①②の見積もりに特化しています。

できること自体は、チャット・文章の要約や下書き・翻訳・コード生成といったテキスト生成全般で、クラウドのLLMと同じ方向です(どこまでこなせるかは選んだモデルの規模と得意分野に依存します)。ローカルで動かす利点は、入力テキストを外部サーバへ送らずに手元で完結できること、API従量課金なしで回数を気にせず使えることです。一方で動かせるモデルの規模はGPUのVRAM上限で頭打ちになり、これが実用上いちばん効く制約です──本サイトはまさにその「自分のGPUで何が動くか」を逆引きするためのサイトです。なお「ローカルAIでの画像生成」はLLM(テキスト生成)とは別系統のモデル(Stable Diffusion等)の話で、VRAM見積もりの考え方も異なるため、本サイトでは対象外です。

最重要スペックはGPUのVRAM容量で、動かせるモデルの規模がほぼここで決まります(本サイトの早見表・計算機で逆引きできます)。それ以外では、①システムメモリ(RAM): モデル読み込みやCPUオフロード時の受け皿になるため、動かすモデルの重みと同程度以上の空きがあると安心です ②ストレージ: 量子化モデルのファイルサイズはおおむね重みのGB数と同じで、例えば8B級Q4なら1ファイル約5GB、複数モデルを試すなら数十GBを見込みます ③CPU: GPUに載り切らない層をオフロードしたときの速度に効きます。またApple Silicon搭載MacはGPU専用VRAMではなくユニファイドメモリを使うため、搭載メモリ容量がVRAM相当の上限になります(本表のGB数を読み替えてください)。

必要VRAMの考え方は用途によらず同じで、パラメータ数×量子化ビット幅で決まります(コーディング用途だから増減することはありません)。本サイト収録のQwen2.5・Llama 3.1などの汎用Instructモデルもコード生成に使えますし、Qwen2.5-Coderのようなコーディング特化の派生モデルも、ベースと同じパラメータ規模ならVRAM目安は同等に読み替えられます。目安として、8B級Q4(実効約5〜6GB)は12GB GPUで余裕、14B級Q4(約10.5GB)は12GBでぎりぎり・16GBなら安心、32B級Q4(約22GB)は24GB GPUが必要です。コーディングでは長いソースコードをコンテキストに入れがちで、その分KVキャッシュが積み上がるため、数万トークンを扱うならFAQ内のKV計算式で余裕を別途見積もることをおすすめします。