Llama 3.1 70B Instruct kaç GB VRAM ister?

Llama 3.1 70B Instruct, 80 katmanda 70,55B parametreye sahiptir. Grouped-query attention kullanır: 64 query head, 8 key-value head'i paylaşır; bu yüzden KV cache'i tam multi-head attention'a göre 8× küçüktür. En fazla 131.072 token context alır; bu uzunlukta tek bir kullanıcı, ağırlıkların üstüne FP16'da 40,00 GiB KV cache ister. Hugging Face deposu erişim onayı gerektirdiği için LLMScale mimarisini yerleşik veritabanında taşır.

BF16 · 8k context · tek kullanıcı

137,6 GiB

131,4 GiB ağırlık, 2,50 GiB KV cache ve 3,73 GiB vLLM'in ek yükü. Aynı iş yükü INT4'te 44,01 GiB ister.

80 katman
hidden 8192
64/8 heads
head_dim 128
128k maks context

Hassasiyet ve context'e göre Llama 3.1 70B Instruct belleği

Hassasiyet	8k context	32k context	128k context
BF16	137,6 GiBKV cache 2,50 GiB	145,1 GiBKV cache 10,00 GiB	175,1 GiBKV cache 40,00 GiB
FP8	73,89 GiBKV cache 2,50 GiB	81,39 GiBKV cache 10,00 GiB	111,4 GiBKV cache 40,00 GiB
INT4	44,01 GiBKV cache 2,50 GiB	51,51 GiBKV cache 10,00 GiB	81,51 GiBKV cache 40,00 GiB

Tek kullanıcı, FP16 KV cache ve 70 GB altı bir kartın varsayılanlarıyla tek GPU'da vLLM'in ek yükü. Quantization ağırlıkları küçültür, KV cache'i değil; bu yüzden context büyüdükçe kazanç daralır.

Onu tek başına taşıyan GPU'lar

BF16 (137,6 GiB): Apple M2 Ultra, B200 180GB, AMD MI300X, Apple M3 Ultra (256GB)
FP8 (73,89 GiB): H100 NVL 94GB, GH200 96GB, RTX PRO 6000 Blackwell, RTX PRO 6000 Blackwell Server
INT4 (44,01 GiB): AMD Ryzen AI Max+ 395 (64GB), Apple M4 Max (64GB), NVIDIA Jetson AGX Orin (64GB), AMD MI210

8k context ve tek kullanıcı için, en küçük kartlar önce. Ayrık kartlarda vLLM'in varsayılanı olan bellek payı %92, unified bellekli cihazlarda GPU'nun kullanabildiği pay hesaba katılır; her cihaz kendi varsayılanlarıyla vLLM'in ek yükünü taşır.

Kaç kullanıcı sığar

GPU	BF16	FP8	INT4
RTX 4090	sığmaz	sığmaz	sığmaz
RTX 5090	sığmaz	sığmaz	sığmaz
RTX 6000 Ada	sığmaz	sığmaz	sığmaz
H100 SXM 80GB	sığmaz	sığmaz	12
RTX PRO 6000 Blackwell	sığmaz	6	18
AMD Ryzen AI Max+ 395 (128GB)	sığmaz	6	18
H200 141GB	sığmaz	22	34
B200 180GB	10	35	47

Kullanıcı başına 8k context ile, tek kartta. ✗: ağırlıklar tek bir kullanıcıya bile yer bırakmıyor.

Llama 3.1 70B Instruct ince ayarı

Yöntem	Bellek	En küçük GPU
Tam ince ayar	1054,8 GiB	birden çok GPU, paylaştırılmış
LoRA (rank 16, attention)	135,8 GiB	Apple M2 Ultra
QLoRA (rank 16, attention)	38,26 GiB	NVIDIA L40S

Dizi uzunluğu 2.048, batch 1, gradient checkpointing açık, Adam. Tam ince ayar aktivasyonlardan önce parametre başına 16 byte tutar; QLoRA dondurulmuş temel modeli 4-bit NF4 olarak saklar.

Sayılar nereden geliyor

Ağırlıklar parametre × parametre başına byte olur. KV cache 2 × katman × key-value head × head boyutu × byte × context × kullanıcı olur. Llama 3.1 70B Instruct için bu, FP16'da token başına 320,0 KiB eder. Bunlar kapasite planlama sayılarıdır: servis motoru — vLLM, TGI, llama.cpp — ve paged-attention verimliliği gerçek değeri yine değiştirir.

Daha fazlası: KV cache boyutu ve GQA, MQA ve MLA.