LLMScalecanlı Hugging Face verisi
ENTR

gpt-oss 20B kaç GB VRAM ister?

gpt-oss 20B, 24 katmanda 20,91B parametreye sahiptir. Grouped-query attention kullanır: 64 query head, 8 key-value head'i paylaşır; bu yüzden KV cache'i tam multi-head attention'a göre 8× küçüktür. Mixture-of-Experts modelidir: toplam 20,91B parametrenin token başına yaklaşık 3,60B kadarı aktiftir; bellek hepsini tutmak zorundadır, her token ise yalnızca aktif kısımdan geçer. En fazla 131.072 token context alır; bu uzunlukta tek bir kullanıcı, ağırlıkların üstüne FP16'da 3,10 GiB KV cache ister.

BF16 · 8k context · tek kullanıcı
41,22 GiB

38,96 GiB ağırlık, 291 MiB KV cache ve 1,98 GiB vLLM'in ek yükü. Aynı iş yükü INT4'te 15,08 GiB ister.

  • 24 katman
  • hidden 2880
  • 64/8 heads
  • head_dim 64
  • 128k maks context
  • MoE

Hassasiyet ve context'e göre gpt-oss 20B belleği

Hassasiyet8k context32k context128k context
BF1641,22 GiBKV cache 291 MiB41,78 GiBKV cache 867 MiB44,03 GiBKV cache 3,10 GiB
FP822,82 GiBKV cache 291 MiB23,38 GiBKV cache 867 MiB25,63 GiBKV cache 3,10 GiB
INT415,08 GiBKV cache 291 MiB15,64 GiBKV cache 867 MiB17,89 GiBKV cache 3,10 GiB

Tek kullanıcı, FP16 KV cache ve 70 GB altı bir kartın varsayılanlarıyla tek GPU'da vLLM'in ek yükü. Quantization ağırlıkları küçültür, KV cache'i değil; bu yüzden context büyüdükçe kazanç daralır.

Onu tek başına taşıyan GPU'lar

8k context ve tek kullanıcı için, en küçük kartlar önce. Ayrık kartlarda vLLM'in varsayılanı olan bellek payı %92, unified bellekli cihazlarda GPU'nun kullanabildiği pay hesaba katılır; her cihaz kendi varsayılanlarıyla vLLM'in ek yükünü taşır.

Kaç kullanıcı sığar

GPUBF16FP8INT4
RTX 4090sığmazsığmaz21
RTX 5090sığmaz2246
RTX 6000 Ada97498
H100 SXM 80GB82131151
RTX PRO 6000 Blackwell120169188
AMD Ryzen AI Max+ 395 (128GB)123172189
H200 141GB230279300
B200 180GB321370388

Kullanıcı başına 8k context ile, tek kartta. ✗: ağırlıklar tek bir kullanıcıya bile yer bırakmıyor.

gpt-oss 20B ince ayarı

YöntemBellekEn küçük GPU
Tam ince ayar312,9 GiBApple M3 Ultra (512GB)
LoRA (rank 16, attention)40,31 GiBNVIDIA L40S
QLoRA (rank 16, attention)11,41 GiBNVIDIA T4

Dizi uzunluğu 2.048, batch 1, gradient checkpointing açık, Adam. Tam ince ayar aktivasyonlardan önce parametre başına 16 byte tutar; QLoRA dondurulmuş temel modeli 4-bit NF4 olarak saklar.

Sayılar nereden geliyor

Ağırlıklar parametre × parametre başına byte olur. KV cache 2 × katman × key-value head × head boyutu × byte × context × kullanıcı olur. gpt-oss 20B için bu, FP16'da token başına 48,0 KiB eder. 24 katmanının 12 tanesi son 128 token'lık kayan pencereye bakar ve bundan fazlasını tutmaz; pencereden sonra eklenen her token, diğer 12 katmanın payı olan 24,0 KiB ekler. Bunlar kapasite planlama sayılarıdır: servis motoru — vLLM, TGI, llama.cpp — ve paged-attention verimliliği gerçek değeri yine değiştirir.

Daha fazlası: KV cache boyutu ve GQA, MQA ve MLA.

gpt-oss 20B ile çalış

Diğer OpenAI modelleri