LLMScalecanlı Hugging Face verisi
ENTR

Qwen2.5 0.5B Instruct kaç GB VRAM ister?

Qwen2.5 0.5B Instruct, 24 katmanda 494,0M parametreye sahiptir. Grouped-query attention kullanır: 14 query head, 2 key-value head'i paylaşır; bu yüzden KV cache'i tam multi-head attention'a göre 7× küçüktür. En fazla 32.768 token context alır; bu uzunlukta tek bir kullanıcı, ağırlıkların üstüne FP16'da 384 MiB KV cache ister.

BF16 · 8k context · tek kullanıcı
1,85 GiB

942 MiB ağırlık, 96 MiB KV cache ve 860 MiB vLLM'in ek yükü. Aynı iş yükü INT4'te 1,36 GiB ister.

  • 24 katman
  • hidden 896
  • 14/2 heads
  • head_dim 64
  • 32k maks context

Hassasiyet ve context'e göre Qwen2.5 0.5B Instruct belleği

Hassasiyet8k context32k context
BF161,85 GiBKV cache 96 MiB2,13 GiBKV cache 384 MiB
FP81,52 GiBKV cache 96 MiB1,80 GiBKV cache 384 MiB
INT41,36 GiBKV cache 96 MiB1,65 GiBKV cache 384 MiB

Tek kullanıcı, FP16 KV cache ve 70 GB altı bir kartın varsayılanlarıyla tek GPU'da vLLM'in ek yükü. Quantization ağırlıkları küçültür, KV cache'i değil; bu yüzden context büyüdükçe kazanç daralır.

Onu tek başına taşıyan GPU'lar

8k context ve tek kullanıcı için, en küçük kartlar önce. Ayrık kartlarda vLLM'in varsayılanı olan bellek payı %92, unified bellekli cihazlarda GPU'nun kullanabildiği pay hesaba katılır; her cihaz kendi varsayılanlarıyla vLLM'in ek yükünü taşır.

Kaç kullanıcı sığar

GPUBF16FP8INT4
RTX 4090213216218
RTX 5090289292294
RTX 6000 Ada447450452
H100 SXM 80GB752756758
RTX PRO 6000 Blackwell908911913
AMD Ryzen AI Max+ 395 (128GB)918921923
H200 141GB1.3471.3511.352
B200 180GB1.7201.7241.726

Kullanıcı başına 8k context ile, tek kartta. ✗: ağırlıklar tek bir kullanıcıya bile yer bırakmıyor.

Qwen2.5 0.5B Instruct ince ayarı

YöntemBellekEn küçük GPU
Tam ince ayar8,44 GiBRTX 3060
LoRA (rank 16, attention)2,03 GiBRTX 3060
QLoRA (rank 16, attention)1,35 GiBRTX 3060

Dizi uzunluğu 2.048, batch 1, gradient checkpointing açık, Adam. Tam ince ayar aktivasyonlardan önce parametre başına 16 byte tutar; QLoRA dondurulmuş temel modeli 4-bit NF4 olarak saklar.

Sayılar nereden geliyor

Ağırlıklar parametre × parametre başına byte olur. KV cache 2 × katman × key-value head × head boyutu × byte × context × kullanıcı olur. Qwen2.5 0.5B Instruct için bu, FP16'da token başına 12,0 KiB eder. Bunlar kapasite planlama sayılarıdır: servis motoru — vLLM, TGI, llama.cpp — ve paged-attention verimliliği gerçek değeri yine değiştirir.

Daha fazlası: KV cache boyutu ve GQA, MQA ve MLA.

Qwen2.5 0.5B Instruct ile çalış

Diğer Qwen modelleri