LLMScalecanlı Hugging Face verisi
ENTR

Gemma 3 1B IT kaç GB VRAM ister?

Gemma 3 1B IT, 26 katmanda 999,9M parametreye sahiptir. Multi-query attention kullanır: 4 query head'in hepsi tek bir key-value head'i paylaşır; bu yüzden KV cache'i tam multi-head attention'a göre 4 kat küçüktür. En fazla 32.768 token context alır; bu uzunlukta tek bir kullanıcı, ağırlıkların üstüne FP16'da 236 MiB KV cache ister. Hugging Face deposu erişim onayı gerektirdiği için LLMScale mimarisini yerleşik veritabanında taşır.

BF16 · 8k context · tek kullanıcı
3,27 GiB

1,86 GiB ağırlık, 140 MiB KV cache ve 1,27 GiB vLLM'in ek yükü. Aynı iş yükü INT4'te 2,31 GiB ister.

  • 26 katman
  • hidden 1152
  • 4/1 heads
  • head_dim 256
  • 32k maks context

Hassasiyet ve context'e göre Gemma 3 1B IT belleği

Hassasiyet8k context32k context
BF163,27 GiBKV cache 140 MiB3,36 GiBKV cache 236 MiB
FP82,62 GiBKV cache 140 MiB2,71 GiBKV cache 236 MiB
INT42,31 GiBKV cache 140 MiB2,41 GiBKV cache 236 MiB

Tek kullanıcı, FP16 KV cache ve 70 GB altı bir kartın varsayılanlarıyla tek GPU'da vLLM'in ek yükü. Quantization ağırlıkları küçültür, KV cache'i değil; bu yüzden context büyüdükçe kazanç daralır.

Onu tek başına taşıyan GPU'lar

8k context ve tek kullanıcı için, en küçük kartlar önce. Ayrık kartlarda vLLM'in varsayılanı olan bellek payı %92, unified bellekli cihazlarda GPU'nun kullanabildiği pay hesaba katılır; her cihaz kendi varsayılanlarıyla vLLM'in ek yükünü taşır.

Kaç kullanıcı sığar

GPUBF16FP8INT4
RTX 4090135140142
RTX 5090187192194
RTX 6000 Ada295300302
H100 SXM 80GB314317318
RTX PRO 6000 Blackwell381383385
AMD Ryzen AI Max+ 395 (128GB)385388389
H200 141GB569572573
B200 180GB728731733

Kullanıcı başına 8k context ile, tek kartta. ✗: ağırlıklar tek bir kullanıcıya bile yer bırakmıyor.

Gemma 3 1B IT ince ayarı

YöntemBellekEn küçük GPU
Tam ince ayar16,01 GiBNVIDIA L4
LoRA (rank 16, attention)3,02 GiBRTX 3060
QLoRA (rank 16, attention)1,64 GiBRTX 3060

Dizi uzunluğu 2.048, batch 1, gradient checkpointing açık, Adam. Tam ince ayar aktivasyonlardan önce parametre başına 16 byte tutar; QLoRA dondurulmuş temel modeli 4-bit NF4 olarak saklar.

Sayılar nereden geliyor

Ağırlıklar parametre × parametre başına byte olur. KV cache 2 × katman × key-value head × head boyutu × byte × context × kullanıcı olur. Gemma 3 1B IT için bu, FP16'da token başına 26,0 KiB eder. 26 katmanının 22 tanesi son 512 token'lık kayan pencereye bakar ve bundan fazlasını tutmaz; pencereden sonra eklenen her token, diğer 4 katmanın payı olan 4,0 KiB ekler. Bunlar kapasite planlama sayılarıdır: servis motoru — vLLM, TGI, llama.cpp — ve paged-attention verimliliği gerçek değeri yine değiştirir.

Daha fazlası: KV cache boyutu ve GQA, MQA ve MLA.

Gemma 3 1B IT ile çalış

Diğer Gemma modelleri