gpt-oss 120B kaç GB VRAM ister?

gpt-oss 120B, 36 katmanda 116,83B parametreye sahiptir. Grouped-query attention kullanır: 64 query head, 8 key-value head'i paylaşır; bu yüzden KV cache'i tam multi-head attention'a göre 8× küçüktür. Mixture-of-Experts modelidir: toplam 116,83B parametrenin token başına yaklaşık 5,10B kadarı aktiftir; bellek hepsini tutmak zorundadır, her token ise yalnızca aktif kısımdan geçer. En fazla 131.072 token context alır; bu uzunlukta tek bir kullanıcı, ağırlıkların üstüne FP16'da 4,65 GiB KV cache ister.

BF16 · 8k context · tek kullanıcı

220,1 GiB

217,6 GiB ağırlık, 437 MiB KV cache ve 2,04 GiB vLLM'in ek yükü. Aynı iş yükü INT4'te 63,24 GiB ister.

36 katman
hidden 2880
64/8 heads
head_dim 64
128k maks context
MoE

Hassasiyet ve context'e göre gpt-oss 120B belleği

Hassasiyet	8k context	32k context	128k context
BF16	220,1 GiBKV cache 437 MiB	220,9 GiBKV cache 1,27 GiB	224,3 GiBKV cache 4,65 GiB
FP8	112,4 GiBKV cache 437 MiB	113,2 GiBKV cache 1,27 GiB	116,6 GiBKV cache 4,65 GiB
INT4	63,24 GiBKV cache 437 MiB	64,08 GiBKV cache 1,27 GiB	67,46 GiBKV cache 4,65 GiB

Tek kullanıcı, FP16 KV cache ve 70 GB altı bir kartın varsayılanlarıyla tek GPU'da vLLM'in ek yükü. Quantization ağırlıkları küçültür, KV cache'i değil; bu yüzden context büyüdükçe kazanç daralır.

Onu tek başına taşıyan GPU'lar

BF16 (220,1 GiB): AMD MI325X, B300 (Blackwell Ultra) 270GB, AMD MI355X, Apple M3 Ultra (512GB)
FP8 (112,4 GiB): H200 141GB, Apple M2 Ultra, B200 180GB, AMD MI300X
INT4 (63,24 GiB): A100 80GB, H100 SXM 80GB, H100 PCIe 80GB, H100 NVL 94GB

8k context ve tek kullanıcı için, en küçük kartlar önce. Ayrık kartlarda vLLM'in varsayılanı olan bellek payı %92, unified bellekli cihazlarda GPU'nun kullanabildiği pay hesaba katılır; her cihaz kendi varsayılanlarıyla vLLM'in ek yükünü taşır.

Kaç kullanıcı sığar

GPU	BF16	FP8	INT4
RTX 4090	sığmaz	sığmaz	sığmaz
RTX 5090	sığmaz	sığmaz	sığmaz
RTX 6000 Ada	sığmaz	sığmaz	sığmaz
H100 SXM 80GB	sığmaz	sığmaz	15
RTX PRO 6000 Blackwell	sığmaz	sığmaz	32
AMD Ryzen AI Max+ 395 (128GB)	sığmaz	sığmaz	29
H200 141GB	sığmaz	27	114
B200 180GB	sığmaz	88	166

Kullanıcı başına 8k context ile, tek kartta. ✗: ağırlıklar tek bir kullanıcıya bile yer bırakmıyor.

gpt-oss 120B ince ayarı

Yöntem	Bellek	En küçük GPU
Tam ince ayar	1742,3 GiB	birden çok GPU, paylaştırılmış
LoRA (rank 16, attention)	219,1 GiB	AMD MI325X
QLoRA (rank 16, attention)	57,68 GiB	AMD MI210

Dizi uzunluğu 2.048, batch 1, gradient checkpointing açık, Adam. Tam ince ayar aktivasyonlardan önce parametre başına 16 byte tutar; QLoRA dondurulmuş temel modeli 4-bit NF4 olarak saklar.

Sayılar nereden geliyor

Ağırlıklar parametre × parametre başına byte olur. KV cache 2 × katman × key-value head × head boyutu × byte × context × kullanıcı olur. gpt-oss 120B için bu, FP16'da token başına 72,0 KiB eder. 36 katmanının 18 tanesi son 128 token'lık kayan pencereye bakar ve bundan fazlasını tutmaz; pencereden sonra eklenen her token, diğer 18 katmanın payı olan 36,0 KiB ekler. Bunlar kapasite planlama sayılarıdır: servis motoru — vLLM, TGI, llama.cpp — ve paged-attention verimliliği gerçek değeri yine değiştirir.

Daha fazlası: KV cache boyutu ve GQA, MQA ve MLA.

gpt-oss 120B ile çalış

Diğer OpenAI modelleri

gpt-oss 20B