Qwen2.5 Coder 7B kaç GB VRAM ister?

Qwen2.5 Coder 7B, 28 katmanda 7,62B parametreye sahiptir. Grouped-query attention kullanır: 28 query head, 4 key-value head'i paylaşır; bu yüzden KV cache'i tam multi-head attention'a göre 7× küçüktür. En fazla 32.768 token context alır; bu uzunlukta tek bir kullanıcı, ağırlıkların üstüne FP16'da 1,75 GiB KV cache ister.

BF16 · 8k context · tek kullanıcı

16,37 GiB

14,19 GiB ağırlık, 448 MiB KV cache ve 1,75 GiB vLLM'in ek yükü. Aynı iş yükü INT4'te 7,45 GiB ister.

28 katman
hidden 3584
28/4 heads
head_dim 128
32k maks context

Hassasiyet ve context'e göre Qwen2.5 Coder 7B belleği

Hassasiyet	8k context	32k context
BF16	16,37 GiBKV cache 448 MiB	17,69 GiBKV cache 1,75 GiB
FP8	10,30 GiBKV cache 448 MiB	11,61 GiBKV cache 1,75 GiB
INT4	7,45 GiBKV cache 448 MiB	8,76 GiBKV cache 1,75 GiB

Tek kullanıcı, FP16 KV cache ve 70 GB altı bir kartın varsayılanlarıyla tek GPU'da vLLM'in ek yükü. Quantization ağırlıkları küçültür, KV cache'i değil; bu yüzden context büyüdükçe kazanç daralır.

Onu tek başına taşıyan GPU'lar

BF16 (16,37 GiB): NVIDIA L4, Apple M4, NVIDIA A30, RTX 3090 / Ti
FP8 (10,30 GiB): RTX 3060, NVIDIA T4, RTX 4060 Ti 16GB, RTX 4070 Ti Super
INT4 (7,45 GiB): RTX 3060, NVIDIA T4, RTX 4060 Ti 16GB, RTX 4070 Ti Super

8k context ve tek kullanıcı için, en küçük kartlar önce. Ayrık kartlarda vLLM'in varsayılanı olan bellek payı %92, unified bellekli cihazlarda GPU'nun kullanabildiği pay hesaba katılır; her cihaz kendi varsayılanlarıyla vLLM'in ek yükünü taşır.

Kaç kullanıcı sığar

GPU	BF16	FP8	INT4
RTX 4090	13	27	33
RTX 5090	29	43	49
RTX 6000 Ada	63	77	83
H100 SXM 80GB	128	142	149
RTX PRO 6000 Blackwell	161	175	182
AMD Ryzen AI Max+ 395 (128GB)	164	178	184
H200 141GB	256	270	276
B200 180GB	333	347	354

Kullanıcı başına 8k context ile, tek kartta. ✗: ağırlıklar tek bir kullanıcıya bile yer bırakmıyor.

Qwen2.5 Coder 7B ince ayarı

Yöntem	Bellek	En küçük GPU
Tam ince ayar	114,9 GiB	NVIDIA DGX Spark (GB10)
LoRA (rank 16, attention)	15,70 GiB	NVIDIA L4
QLoRA (rank 16, attention)	5,17 GiB	RTX 3060

Dizi uzunluğu 2.048, batch 1, gradient checkpointing açık, Adam. Tam ince ayar aktivasyonlardan önce parametre başına 16 byte tutar; QLoRA dondurulmuş temel modeli 4-bit NF4 olarak saklar.

Sayılar nereden geliyor

Ağırlıklar parametre × parametre başına byte olur. KV cache 2 × katman × key-value head × head boyutu × byte × context × kullanıcı olur. Qwen2.5 Coder 7B için bu, FP16'da token başına 56,0 KiB eder. Bunlar kapasite planlama sayılarıdır: servis motoru — vLLM, TGI, llama.cpp — ve paged-attention verimliliği gerçek değeri yine değiştirir.

Daha fazlası: KV cache boyutu ve GQA, MQA ve MLA.