Llama 4 Scout 17B-16E Instruct kaç GB VRAM ister?

Llama 4 Scout 17B-16E Instruct, 48 katmanda 108,64B parametreye sahiptir. Grouped-query attention kullanır: 40 query head, 8 key-value head'i paylaşır; bu yüzden KV cache'i tam multi-head attention'a göre 5× küçüktür. Mixture-of-Experts modelidir: toplam 108,64B parametrenin token başına yaklaşık 17,00B kadarı aktiftir; bellek hepsini tutmak zorundadır, her token ise yalnızca aktif kısımdan geçer. En fazla 10.485.760 token context alır; bu uzunlukta tek bir kullanıcı, ağırlıkların üstüne FP16'da 1920,0 GiB KV cache ister. Hugging Face deposu erişim onayı gerektirdiği için LLMScale mimarisini yerleşik veritabanında taşır.

Hassasiyet ve context'e göre Llama 4 Scout 17B-16E Instruct belleği

Tek kullanıcı, FP16 KV cache ve 70 GB altı bir kartın varsayılanlarıyla tek GPU'da vLLM'in ek yükü. Quantization ağırlıkları küçültür, KV cache'i değil; bu yüzden context büyüdükçe kazanç daralır.

Onu tek başına taşıyan GPU'lar

• BF16 (205,4 GiB): AMD MI325X, B300 (Blackwell Ultra) 270GB, AMD MI355X, Apple M3 Ultra (512GB)
• FP8 (106,2 GiB): NVIDIA DGX Spark (GB10), H200 141GB, Apple M2 Ultra, B200 180GB
• INT4 (59,64 GiB): RTX PRO 5000 Blackwell (72GB), A100 80GB, H100 SXM 80GB, H100 PCIe 80GB

8k context ve tek kullanıcı için, en küçük kartlar önce. Ayrık kartlarda vLLM'in varsayılanı olan bellek payı %92, unified bellekli cihazlarda GPU'nun kullanabildiği pay hesaba katılır; her cihaz kendi varsayılanlarıyla vLLM'in ek yükünü taşır.

Kaç kullanıcı sığar

Kullanıcı başına 8k context ile, tek kartta. ✗: ağırlıklar tek bir kullanıcıya bile yer bırakmıyor.

Llama 4 Scout 17B-16E Instruct ince ayarı

Dizi uzunluğu 2.048, batch 1, gradient checkpointing açık, Adam. Tam ince ayar aktivasyonlardan önce parametre başına 16 byte tutar; QLoRA dondurulmuş temel modeli 4-bit NF4 olarak saklar.

Sayılar nereden geliyor

Ağırlıklar parametre × parametre başına byte olur. KV cache 2 × katman × key-value head × head boyutu × byte × context × kullanıcı olur. Llama 4 Scout 17B-16E Instruct için bu, FP16'da token başına 192,0 KiB eder. Bunlar kapasite planlama sayılarıdır: servis motoru — vLLM, TGI, llama.cpp — ve paged-attention verimliliği gerçek değeri yine değiştirir.

Daha fazlası: KV cache boyutu ve GQA, MQA ve MLA.

Llama 4 Scout 17B-16E Instruct ile çalış

• Kendi iş yüküne göre hesapla
• İnce ayar belleği
• vLLM parametreleri
• Model anatomisi
• config.json'u, açıklamalı
• Dosyaları servis hakkında ne diyor

Diğer Llama modelleri

• Llama 3.2 1B Instruct
• Llama 3.2 3B Instruct
• Llama 3.1 8B Instruct
• Llama 3.3 70B Instruct
• Llama 3.1 70B Instruct
• Llama 3.1 405B Instruct