Qwen3 Coder 30B A3B kaç GB VRAM ister?

Qwen3 Coder 30B A3B, 48 katmanda 30,53B parametreye sahiptir. Grouped-query attention kullanır: 32 query head, 4 key-value head'i paylaşır; bu yüzden KV cache'i tam multi-head attention'a göre 8× küçüktür. Mixture-of-Experts modelidir: toplam 30,53B parametrenin token başına yaklaşık 3,30B kadarı aktiftir; bellek hepsini tutmak zorundadır, her token ise yalnızca aktif kısımdan geçer. En fazla 262.144 token context alır; bu uzunlukta tek bir kullanıcı, ağırlıkların üstüne FP16'da 24,00 GiB KV cache ister.

BF16 · 8k context · tek kullanıcı

59,07 GiB

56,87 GiB ağırlık, 768 MiB KV cache ve 1,44 GiB vLLM'in ek yükü. Aynı iş yükü INT4'te 18,15 GiB ister.

48 katman
hidden 2048
32/4 heads
head_dim 128
256k maks context
MoE

Hassasiyet ve context'e göre Qwen3 Coder 30B A3B belleği

Hassasiyet	8k context	32k context	128k context	256k context
BF16	59,07 GiBKV cache 768 MiB	61,32 GiBKV cache 3,00 GiB	70,32 GiBKV cache 12,00 GiB	82,32 GiBKV cache 24,00 GiB
FP8	31,21 GiBKV cache 768 MiB	33,46 GiBKV cache 3,00 GiB	42,46 GiBKV cache 12,00 GiB	54,46 GiBKV cache 24,00 GiB
INT4	18,15 GiBKV cache 768 MiB	20,40 GiBKV cache 3,00 GiB	29,40 GiBKV cache 12,00 GiB	41,40 GiBKV cache 24,00 GiB

Tek kullanıcı, FP16 KV cache ve 70 GB altı bir kartın varsayılanlarıyla tek GPU'da vLLM'in ek yükü. Quantization ağırlıkları küçültür, KV cache'i değil; bu yüzden context büyüdükçe kazanç daralır.

Onu tek başına taşıyan GPU'lar

BF16 (59,07 GiB): RTX PRO 5000 Blackwell (72GB), A100 80GB, H100 SXM 80GB, H100 PCIe 80GB
FP8 (31,21 GiB): Apple M4 Pro, A100 40GB, NVIDIA L40S, RTX 6000 Ada
INT4 (18,15 GiB): NVIDIA L4, Apple M4, NVIDIA A30, RTX 3090 / Ti

8k context ve tek kullanıcı için, en küçük kartlar önce. Ayrık kartlarda vLLM'in varsayılanı olan bellek payı %92, unified bellekli cihazlarda GPU'nun kullanabildiği pay hesaba katılır; her cihaz kendi varsayılanlarıyla vLLM'in ek yükünü taşır.

Kaç kullanıcı sığar

GPU	BF16	FP8	INT4
RTX 4090	sığmaz	sığmaz	5
RTX 5090	sığmaz	sığmaz	15
RTX 6000 Ada	sığmaz	17	35
H100 SXM 80GB	18	55	72
RTX PRO 6000 Blackwell	37	74	92
AMD Ryzen AI Max+ 395 (128GB)	38	76	93
H200 141GB	92	129	147
B200 180GB	138	175	193

Kullanıcı başına 8k context ile, tek kartta. ✗: ağırlıklar tek bir kullanıcıya bile yer bırakmıyor.

Qwen3 Coder 30B A3B ince ayarı

Yöntem	Bellek	En küçük GPU
Tam ince ayar	456,3 GiB	birden çok GPU, paylaştırılmış
LoRA (rank 16, attention)	58,38 GiB	AMD MI210
QLoRA (rank 16, attention)	16,18 GiB	NVIDIA L4

Dizi uzunluğu 2.048, batch 1, gradient checkpointing açık, Adam. Tam ince ayar aktivasyonlardan önce parametre başına 16 byte tutar; QLoRA dondurulmuş temel modeli 4-bit NF4 olarak saklar.

Sayılar nereden geliyor

Ağırlıklar parametre × parametre başına byte olur. KV cache 2 × katman × key-value head × head boyutu × byte × context × kullanıcı olur. Qwen3 Coder 30B A3B için bu, FP16'da token başına 96,0 KiB eder. Bunlar kapasite planlama sayılarıdır: servis motoru — vLLM, TGI, llama.cpp — ve paged-attention verimliliği gerçek değeri yine değiştirir.

Daha fazlası: KV cache boyutu ve GQA, MQA ve MLA.