LLMScalecanlı Hugging Face verisi
ENTR

Gemma 3 12B IT kaç GB VRAM ister?

Gemma 3 12B IT, 48 katmanda 12,19B parametreye sahiptir. Grouped-query attention kullanır: 16 query head, 8 key-value head'i paylaşır; bu yüzden KV cache'i tam multi-head attention'a göre 2× küçüktür. En fazla 131.072 token context alır; bu uzunlukta tek bir kullanıcı, ağırlıkların üstüne FP16'da 9,57 GiB KV cache ister. Hugging Face deposu erişim onayı gerektirdiği için LLMScale mimarisini yerleşik veritabanında taşır.

BF16 · 8k context · tek kullanıcı
26,85 GiB

22,70 GiB ağırlık, 2,07 GiB KV cache ve 2,08 GiB vLLM'in ek yükü. Aynı iş yükü INT4'te 11,55 GiB ister.

  • 48 katman
  • hidden 3840
  • 16/8 heads
  • head_dim 256
  • 128k maks context

Hassasiyet ve context'e göre Gemma 3 12B IT belleği

Hassasiyet8k context32k context128k context
BF1626,85 GiBKV cache 2,07 GiB28,35 GiBKV cache 3,57 GiB34,35 GiBKV cache 9,57 GiB
FP816,44 GiBKV cache 2,07 GiB17,94 GiBKV cache 3,57 GiB23,94 GiBKV cache 9,57 GiB
INT411,55 GiBKV cache 2,07 GiB13,05 GiBKV cache 3,57 GiB19,05 GiBKV cache 9,57 GiB

Tek kullanıcı, FP16 KV cache ve 70 GB altı bir kartın varsayılanlarıyla tek GPU'da vLLM'in ek yükü. Quantization ağırlıkları küçültür, KV cache'i değil; bu yüzden context büyüdükçe kazanç daralır.

Onu tek başına taşıyan GPU'lar

8k context ve tek kullanıcı için, en küçük kartlar önce. Ayrık kartlarda vLLM'in varsayılanı olan bellek payı %92, unified bellekli cihazlarda GPU'nun kullanabildiği pay hesaba katılır; her cihaz kendi varsayılanlarıyla vLLM'in ek yükünü taşır.

Kaç kullanıcı sığar

GPUBF16FP8INT4
RTX 4090sığmaz35
RTX 5090179
RTX 6000 Ada91416
H100 SXM 80GB141819
RTX PRO 6000 Blackwell192224
AMD Ryzen AI Max+ 395 (128GB)192324
H200 141GB333638
B200 180GB434648

Kullanıcı başına 8k context ile, tek kartta. ✗: ağırlıklar tek bir kullanıcıya bile yer bırakmıyor.

Gemma 3 12B IT ince ayarı

YöntemBellekEn küçük GPU
Tam ince ayar183,3 GiBApple M3 Ultra (256GB)
LoRA (rank 16, attention)24,68 GiBRTX 5090
QLoRA (rank 16, attention)7,83 GiBRTX 3060

Dizi uzunluğu 2.048, batch 1, gradient checkpointing açık, Adam. Tam ince ayar aktivasyonlardan önce parametre başına 16 byte tutar; QLoRA dondurulmuş temel modeli 4-bit NF4 olarak saklar.

Sayılar nereden geliyor

Ağırlıklar parametre × parametre başına byte olur. KV cache 2 × katman × key-value head × head boyutu × byte × context × kullanıcı olur. Gemma 3 12B IT için bu, FP16'da token başına 384,0 KiB eder. 48 katmanının 40 tanesi son 1.024 token'lık kayan pencereye bakar ve bundan fazlasını tutmaz; pencereden sonra eklenen her token, diğer 8 katmanın payı olan 64,0 KiB ekler. Bunlar kapasite planlama sayılarıdır: servis motoru — vLLM, TGI, llama.cpp — ve paged-attention verimliliği gerçek değeri yine değiştirir.

Daha fazlası: KV cache boyutu ve GQA, MQA ve MLA.

Gemma 3 12B IT ile çalış

Diğer Gemma modelleri