Gemma 3 27B IT kaç GB VRAM ister?

Gemma 3 27B IT, 62 katmanda 27,43B parametreye sahiptir. Grouped-query attention kullanır: 32 query head, 16 key-value head'i paylaşır; bu yüzden KV cache'i tam multi-head attention'a göre 2× küçüktür. En fazla 131.072 token context alır; bu uzunlukta tek bir kullanıcı, ağırlıkların üstüne FP16'da 12,35 GiB KV cache ister. Hugging Face deposu erişim onayı gerektirdiği için LLMScale mimarisini yerleşik veritabanında taşır.

BF16 · 8k context · tek kullanıcı

56,53 GiB

51,10 GiB ağırlık, 2,98 GiB KV cache ve 2,46 GiB vLLM'in ek yükü. Aynı iş yükü INT4'te 20,93 GiB ister.

62 katman
hidden 5376
32/16 heads
head_dim 128
128k maks context

Hassasiyet ve context'e göre Gemma 3 27B IT belleği

Hassasiyet	8k context	32k context	128k context
BF16	56,53 GiBKV cache 2,98 GiB	58,41 GiBKV cache 4,85 GiB	65,91 GiBKV cache 12,35 GiB
FP8	32,29 GiBKV cache 2,98 GiB	34,17 GiBKV cache 4,85 GiB	41,67 GiBKV cache 12,35 GiB
INT4	20,93 GiBKV cache 2,98 GiB	22,81 GiBKV cache 4,85 GiB	30,31 GiBKV cache 12,35 GiB

Tek kullanıcı, FP16 KV cache ve 70 GB altı bir kartın varsayılanlarıyla tek GPU'da vLLM'in ek yükü. Quantization ağırlıkları küçültür, KV cache'i değil; bu yüzden context büyüdükçe kazanç daralır.

Onu tek başına taşıyan GPU'lar

BF16 (56,53 GiB): AMD MI210, RTX PRO 5000 Blackwell (72GB), A100 80GB, H100 SXM 80GB
FP8 (32,29 GiB): Apple M4 Pro, A100 40GB, NVIDIA L40S, RTX 6000 Ada
INT4 (20,93 GiB): Apple M4, NVIDIA A30, RTX 3090 / Ti, RTX 4090

8k context ve tek kullanıcı için, en küçük kartlar önce. Ayrık kartlarda vLLM'in varsayılanı olan bellek payı %92, unified bellekli cihazlarda GPU'nun kullanabildiği pay hesaba katılır; her cihaz kendi varsayılanlarıyla vLLM'in ek yükünü taşır.

Kaç kullanıcı sığar

GPU	BF16	FP8	INT4
RTX 4090	sığmaz	sığmaz	1
RTX 5090	sığmaz	sığmaz	3
RTX 6000 Ada	sığmaz	4	8
H100 SXM 80GB	3	8	11
RTX PRO 6000 Blackwell	6	12	14
AMD Ryzen AI Max+ 395 (128GB)	6	12	15
H200 141GB	16	21	24
B200 180GB	22	28	31

Kullanıcı başına 8k context ile, tek kartta. ✗: ağırlıklar tek bir kullanıcıya bile yer bırakmıyor.

Gemma 3 27B IT ince ayarı

Yöntem	Bellek	En küçük GPU
Tam ince ayar	411,0 GiB	birden çok GPU, paylaştırılmış
LoRA (rank 16, attention)	53,84 GiB	AMD MI210
QLoRA (rank 16, attention)	15,92 GiB	NVIDIA L4

Dizi uzunluğu 2.048, batch 1, gradient checkpointing açık, Adam. Tam ince ayar aktivasyonlardan önce parametre başına 16 byte tutar; QLoRA dondurulmuş temel modeli 4-bit NF4 olarak saklar.

Sayılar nereden geliyor

Ağırlıklar parametre × parametre başına byte olur. KV cache 2 × katman × key-value head × head boyutu × byte × context × kullanıcı olur. Gemma 3 27B IT için bu, FP16'da token başına 496,0 KiB eder. 62 katmanının 52 tanesi son 1.024 token'lık kayan pencereye bakar ve bundan fazlasını tutmaz; pencereden sonra eklenen her token, diğer 10 katmanın payı olan 80,0 KiB ekler. Bunlar kapasite planlama sayılarıdır: servis motoru — vLLM, TGI, llama.cpp — ve paged-attention verimliliği gerçek değeri yine değiştirir.

Daha fazlası: KV cache boyutu ve GQA, MQA ve MLA.