Mixtral 8x7B Instruct kaç GB VRAM ister?

Mixtral 8x7B Instruct, 32 katmanda 46,70B parametreye sahiptir. Grouped-query attention kullanır: 32 query head, 8 key-value head'i paylaşır; bu yüzden KV cache'i tam multi-head attention'a göre 4× küçüktür. Mixture-of-Experts modelidir: toplam 46,70B parametrenin token başına yaklaşık 12,90B kadarı aktiftir; bellek hepsini tutmak zorundadır, her token ise yalnızca aktif kısımdan geçer. En fazla 32.768 token context alır; bu uzunlukta tek bir kullanıcı, ağırlıkların üstüne FP16'da 4,00 GiB KV cache ister.

BF16 · 8k context · tek kullanıcı

89,46 GiB

86,99 GiB ağırlık, 1,00 GiB KV cache ve 1,48 GiB vLLM'in ek yükü. Aynı iş yükü INT4'te 25,94 GiB ister.

32 katman
hidden 4096
32/8 heads
head_dim 128
32k maks context
MoE

Hassasiyet ve context'e göre Mixtral 8x7B Instruct belleği

Hassasiyet	8k context	32k context
BF16	89,46 GiBKV cache 1,00 GiB	92,46 GiBKV cache 4,00 GiB
FP8	46,21 GiBKV cache 1,00 GiB	49,21 GiBKV cache 4,00 GiB
INT4	25,94 GiBKV cache 1,00 GiB	28,94 GiBKV cache 4,00 GiB

Tek kullanıcı, FP16 KV cache ve 70 GB altı bir kartın varsayılanlarıyla tek GPU'da vLLM'in ek yükü. Quantization ağırlıkları küçültür, KV cache'i değil; bu yüzden context büyüdükçe kazanç daralır.

Onu tek başına taşıyan GPU'lar

BF16 (89,46 GiB): Apple M4 Max (128GB), NVIDIA DGX Spark (GB10), H200 141GB, Apple M2 Ultra
FP8 (46,21 GiB): Apple M4 Max (64GB), NVIDIA Jetson AGX Orin (64GB), AMD MI210, RTX PRO 5000 Blackwell (72GB)
INT4 (25,94 GiB): RTX 5090, Apple M4 Pro, A100 40GB, NVIDIA L40S

8k context ve tek kullanıcı için, en küçük kartlar önce. Ayrık kartlarda vLLM'in varsayılanı olan bellek payı %92, unified bellekli cihazlarda GPU'nun kullanabildiği pay hesaba katılır; her cihaz kendi varsayılanlarıyla vLLM'in ek yükünü taşır.

Kaç kullanıcı sığar

GPU	BF16	FP8	INT4
RTX 4090	sığmaz	sığmaz	sığmaz
RTX 5090	sığmaz	sığmaz	3
RTX 6000 Ada	sığmaz	sığmaz	18
H100 SXM 80GB	sığmaz	25	45
RTX PRO 6000 Blackwell	sığmaz	39	59
AMD Ryzen AI Max+ 395 (128GB)	sığmaz	40	60
H200 141GB	37	80	101
B200 180GB	69	112	133

Kullanıcı başına 8k context ile, tek kartta. ✗: ağırlıklar tek bir kullanıcıya bile yer bırakmıyor.

Mixtral 8x7B Instruct ince ayarı

Yöntem	Bellek	En küçük GPU
Tam ince ayar	697,4 GiB	birden çok GPU, paylaştırılmış
LoRA (rank 16, attention)	88,66 GiB	GH200 96GB
QLoRA (rank 16, attention)	24,12 GiB	RTX 5090

Dizi uzunluğu 2.048, batch 1, gradient checkpointing açık, Adam. Tam ince ayar aktivasyonlardan önce parametre başına 16 byte tutar; QLoRA dondurulmuş temel modeli 4-bit NF4 olarak saklar.

Sayılar nereden geliyor

Ağırlıklar parametre × parametre başına byte olur. KV cache 2 × katman × key-value head × head boyutu × byte × context × kullanıcı olur. Mixtral 8x7B Instruct için bu, FP16'da token başına 128,0 KiB eder. Bunlar kapasite planlama sayılarıdır: servis motoru — vLLM, TGI, llama.cpp — ve paged-attention verimliliği gerçek değeri yine değiştirir.

Daha fazlası: KV cache boyutu ve GQA, MQA ve MLA.