Mistral Nemo 12B Instruct kaç GB VRAM ister?

Mistral Nemo 12B Instruct, 40 katmanda 12,25B parametreye sahiptir. Grouped-query attention kullanır: 32 query head, 8 key-value head'i paylaşır; bu yüzden KV cache'i tam multi-head attention'a göre 4× küçüktür. En fazla 131.072 token context alır; bu uzunlukta tek bir kullanıcı, ağırlıkların üstüne FP16'da 20,00 GiB KV cache ister.

BF16 · 8k context · tek kullanıcı

26,23 GiB

22,82 GiB ağırlık, 1,25 GiB KV cache ve 2,17 GiB vLLM'in ek yükü. Aynı iş yükü INT4'te 11,31 GiB ister.

40 katman
hidden 5120
32/8 heads
head_dim 128
128k maks context

Hassasiyet ve context'e göre Mistral Nemo 12B Instruct belleği

Hassasiyet	8k context	32k context	128k context
BF16	26,23 GiBKV cache 1,25 GiB	29,98 GiBKV cache 5,00 GiB	44,98 GiBKV cache 20,00 GiB
FP8	16,07 GiBKV cache 1,25 GiB	19,82 GiBKV cache 5,00 GiB	34,82 GiBKV cache 20,00 GiB
INT4	11,31 GiBKV cache 1,25 GiB	15,06 GiBKV cache 5,00 GiB	30,06 GiBKV cache 20,00 GiB

Tek kullanıcı, FP16 KV cache ve 70 GB altı bir kartın varsayılanlarıyla tek GPU'da vLLM'in ek yükü. Quantization ağırlıkları küçültür, KV cache'i değil; bu yüzden context büyüdükçe kazanç daralır.

Onu tek başına taşıyan GPU'lar

BF16 (26,23 GiB): RTX 5090, Apple M4 Pro, A100 40GB, NVIDIA L40S
FP8 (16,07 GiB): NVIDIA L4, Apple M4, NVIDIA A30, RTX 3090 / Ti
INT4 (11,31 GiB): NVIDIA T4, RTX 4060 Ti 16GB, RTX 4070 Ti Super, RTX 4080 / Super

8k context ve tek kullanıcı için, en küçük kartlar önce. Ayrık kartlarda vLLM'in varsayılanı olan bellek payı %92, unified bellekli cihazlarda GPU'nun kullanabildiği pay hesaba katılır; her cihaz kendi varsayılanlarıyla vLLM'in ek yükünü taşır.

Kaç kullanıcı sığar

GPU	BF16	FP8	INT4
RTX 4090	sığmaz	5	9
RTX 5090	3	11	15
RTX 6000 Ada	14	23	26
H100 SXM 80GB	37	46	49
RTX PRO 6000 Blackwell	49	57	61
AMD Ryzen AI Max+ 395 (128GB)	50	58	62
H200 141GB	82	90	94
B200 180GB	110	118	122

Kullanıcı başına 8k context ile, tek kartta. ✗: ağırlıklar tek bir kullanıcıya bile yer bırakmıyor.

Mistral Nemo 12B Instruct ince ayarı

Yöntem	Bellek	En küçük GPU
Tam ince ayar	184,3 GiB	Apple M3 Ultra (256GB)
LoRA (rank 16, attention)	24,87 GiB	RTX 5090
QLoRA (rank 16, attention)	7,94 GiB	RTX 3060

Dizi uzunluğu 2.048, batch 1, gradient checkpointing açık, Adam. Tam ince ayar aktivasyonlardan önce parametre başına 16 byte tutar; QLoRA dondurulmuş temel modeli 4-bit NF4 olarak saklar.

Sayılar nereden geliyor

Ağırlıklar parametre × parametre başına byte olur. KV cache 2 × katman × key-value head × head boyutu × byte × context × kullanıcı olur. Mistral Nemo 12B Instruct için bu, FP16'da token başına 160,0 KiB eder. Bunlar kapasite planlama sayılarıdır: servis motoru — vLLM, TGI, llama.cpp — ve paged-attention verimliliği gerçek değeri yine değiştirir.

Daha fazlası: KV cache boyutu ve GQA, MQA ve MLA.