Llama 3.1 405B Instruct kaç GB VRAM ister?

Llama 3.1 405B Instruct, 126 katmanda 405,85B parametreye sahiptir. Grouped-query attention kullanır: 128 query head, 8 key-value head'i paylaşır; bu yüzden KV cache'i tam multi-head attention'a göre 16× küçüktür. En fazla 131.072 token context alır; bu uzunlukta tek bir kullanıcı, ağırlıkların üstüne FP16'da 63,00 GiB KV cache ister. Hugging Face deposu erişim onayı gerektirdiği için LLMScale mimarisini yerleşik veritabanında taşır.

Hassasiyet ve context'e göre Llama 3.1 405B Instruct belleği

Tek kullanıcı, FP16 KV cache ve 70 GB altı bir kartın varsayılanlarıyla tek GPU'da vLLM'in ek yükü. Quantization ağırlıkları küçültür, KV cache'i değil; bu yüzden context büyüdükçe kazanç daralır.

Onu tek başına taşıyan GPU'lar

• BF16 (768,3 GiB): tek bir GPU'ya sığmaz — hesaplayıcının yerleşimiyle en az: 12× H100 SXM 80GB, 7× H200 141GB, 6× B200 180GB.
• FP8 (394,2 GiB): tek bir GPU'ya sığmaz — hesaplayıcının yerleşimiyle en az: 6× H100 SXM 80GB, 4× H200 141GB, 3× B200 180GB.
• INT4 (218,9 GiB): AMD MI325X, B300 (Blackwell Ultra) 270GB, AMD MI355X, Apple M3 Ultra (512GB)

8k context ve tek kullanıcı için, en küçük kartlar önce. Ayrık kartlarda vLLM'in varsayılanı olan bellek payı %92, unified bellekli cihazlarda GPU'nun kullanabildiği pay hesaba katılır; her cihaz kendi varsayılanlarıyla vLLM'in ek yükünü taşır.

Kaç kullanıcı sığar

Buradaki hiçbir kart onu herhangi bir hassasiyette tek başına taşıyamaz; servis etmek, tensor parallel ile birden çok GPU'ya bölmek demektir.

Llama 3.1 405B Instruct ince ayarı

Dizi uzunluğu 2.048, batch 1, gradient checkpointing açık, Adam. Tam ince ayar aktivasyonlardan önce parametre başına 16 byte tutar; QLoRA dondurulmuş temel modeli 4-bit NF4 olarak saklar.

Sayılar nereden geliyor

Ağırlıklar parametre × parametre başına byte olur. KV cache 2 × katman × key-value head × head boyutu × byte × context × kullanıcı olur. Llama 3.1 405B Instruct için bu, FP16'da token başına 504,0 KiB eder. Bunlar kapasite planlama sayılarıdır: servis motoru — vLLM, TGI, llama.cpp — ve paged-attention verimliliği gerçek değeri yine değiştirir.

Daha fazlası: KV cache boyutu ve GQA, MQA ve MLA.

Llama 3.1 405B Instruct ile çalış

• Kendi iş yüküne göre hesapla
• İnce ayar belleği
• vLLM parametreleri
• Model anatomisi
• config.json'u, açıklamalı
• Dosyaları servis hakkında ne diyor

Diğer Llama modelleri

• Llama 3.2 1B Instruct
• Llama 3.2 3B Instruct
• Llama 3.1 8B Instruct
• Llama 3.3 70B Instruct
• Llama 3.1 70B Instruct
• Llama 4 Scout 17B-16E Instruct