Phi-3 mini 4k kaç GB VRAM ister?

Phi-3 mini 4k, 32 katmanda 3,82B parametreye sahiptir. Tam multi-head attention kullanır: 32 head'in her biri kendi key ve value'larını tutar, bu yüzden KV cache'i head sayısının gerektirdiği kadar büyüktür. En fazla 4.096 token context alır; bu uzunlukta tek bir kullanıcı, ağırlıkların üstüne FP16'da 1,50 GiB KV cache ister.

BF16 · 4k context · tek kullanıcı

9,42 GiB

7,12 GiB ağırlık, 1,50 GiB KV cache ve 821 MiB vLLM'in ek yükü. Aynı iş yükü INT4'te 4,46 GiB ister.

32 katman
hidden 3072
32/32 heads
head_dim 96
4k maks context

Hassasiyet ve context'e göre Phi-3 mini 4k belleği

Hassasiyet	4k context
BF16	9,42 GiBKV cache 1,50 GiB
FP8	6,04 GiBKV cache 1,50 GiB
INT4	4,46 GiBKV cache 1,50 GiB

Tek kullanıcı, FP16 KV cache ve 70 GB altı bir kartın varsayılanlarıyla tek GPU'da vLLM'in ek yükü. Quantization ağırlıkları küçültür, KV cache'i değil; bu yüzden context büyüdükçe kazanç daralır.

Onu tek başına taşıyan GPU'lar

BF16 (9,42 GiB): RTX 3060, NVIDIA T4, RTX 4060 Ti 16GB, RTX 4070 Ti Super
FP8 (6,04 GiB): RTX 3060, NVIDIA T4, RTX 4060 Ti 16GB, RTX 4070 Ti Super
INT4 (4,46 GiB): RTX 3060, NVIDIA T4, RTX 4060 Ti 16GB, RTX 4070 Ti Super

4k context ve tek kullanıcı için, en küçük kartlar önce. Ayrık kartlarda vLLM'in varsayılanı olan bellek payı %92, unified bellekli cihazlarda GPU'nun kullanabildiği pay hesaba katılır; her cihaz kendi varsayılanlarıyla vLLM'in ek yükünü taşır.

Kaç kullanıcı sığar

GPU	BF16	FP8	INT4
RTX 4090	9	11	12
RTX 5090	13	16	17
RTX 6000 Ada	23	26	27
H100 SXM 80GB	42	45	46
RTX PRO 6000 Blackwell	52	54	56
AMD Ryzen AI Max+ 395 (128GB)	53	55	56
H200 141GB	80	82	83
B200 180GB	103	105	106

Kullanıcı başına 4k context ile, tek kartta. ✗: ağırlıklar tek bir kullanıcıya bile yer bırakmıyor.

Phi-3 mini 4k ince ayarı

Yöntem	Bellek	En küçük GPU
Tam ince ayar	58,30 GiB	AMD MI210
LoRA (rank 16, attention)	8,65 GiB	RTX 3060
QLoRA (rank 16, attention)	3,37 GiB	RTX 3060

Dizi uzunluğu 2.048, batch 1, gradient checkpointing açık, Adam. Tam ince ayar aktivasyonlardan önce parametre başına 16 byte tutar; QLoRA dondurulmuş temel modeli 4-bit NF4 olarak saklar.

Sayılar nereden geliyor

Ağırlıklar parametre × parametre başına byte olur. KV cache 2 × katman × key-value head × head boyutu × byte × context × kullanıcı olur. Phi-3 mini 4k için bu, FP16'da token başına 384,0 KiB eder. Bunlar kapasite planlama sayılarıdır: servis motoru — vLLM, TGI, llama.cpp — ve paged-attention verimliliği gerçek değeri yine değiştirir.

Daha fazlası: KV cache boyutu ve GQA, MQA ve MLA.