LLMScaleDeepSeek V3 kaç GB VRAM ister?
DeepSeek V3, 61 katmanda 684,53B parametreye sahiptir. Multi-head latent attention (MLA) kullanır: her katman, her head için key ve value yerine token başına 576 boyutlu tek bir sıkıştırılmış latent saklar; bu da KV cache'ini alışılmış formülün vereceğinden 24,9× küçük yapar. Mixture-of-Experts modelidir: toplam 684,53B parametrenin token başına yaklaşık 37,00B kadarı aktiftir; bellek hepsini tutmak zorundadır, her token ise yalnızca aktif kısımdan geçer. En fazla 163.840 token context alır; bu uzunlukta tek bir kullanıcı, ağırlıkların üstüne FP16'da 10,72 GiB KV cache ister.
1275,0 GiB ağırlık, 549 MiB KV cache ve 3,49 GiB vLLM'in ek yükü. Aynı iş yükü INT4'te 345,2 GiB ister.
- 61 katman
- hidden 7168
- 128/128 heads
- head_dim 56
- 160k maks context
- MoE
- MLA
Hassasiyet ve context'e göre DeepSeek V3 belleği
| Hassasiyet | 8k context | 32k context | 128k context | 160k context |
|---|---|---|---|---|
| BF16 | 1279,1 GiBKV cache 549 MiB | 1280,7 GiBKV cache 2,14 GiB | 1287,1 GiBKV cache 8,58 GiB | 1289,3 GiBKV cache 10,72 GiB |
| FP8 | 643,3 GiBKV cache 549 MiB | 644,9 GiBKV cache 2,14 GiB | 651,3 GiBKV cache 8,58 GiB | 653,5 GiBKV cache 10,72 GiB |
| INT4 | 345,2 GiBKV cache 549 MiB | 346,9 GiBKV cache 2,14 GiB | 353,3 GiBKV cache 8,58 GiB | 355,4 GiBKV cache 10,72 GiB |
Tek kullanıcı, FP16 KV cache ve 70 GB altı bir kartın varsayılanlarıyla tek GPU'da vLLM'in ek yükü. Quantization ağırlıkları küçültür, KV cache'i değil; bu yüzden context büyüdükçe kazanç daralır.
Onu tek başına taşıyan GPU'lar
- BF16 (1279,1 GiB): tek bir GPU'ya sığmaz — hesaplayıcının yerleşimiyle en az: 20× H100 SXM 80GB, 12× H200 141GB, 9× B200 180GB.
- FP8 (643,3 GiB): tek bir GPU'ya sığmaz — hesaplayıcının yerleşimiyle en az: 10× H100 SXM 80GB, 6× H200 141GB, 5× B200 180GB.
- INT4 (345,2 GiB): Apple M3 Ultra (512GB)
8k context ve tek kullanıcı için, en küçük kartlar önce. Ayrık kartlarda vLLM'in varsayılanı olan bellek payı %92, unified bellekli cihazlarda GPU'nun kullanabildiği pay hesaba katılır; her cihaz kendi varsayılanlarıyla vLLM'in ek yükünü taşır.
Kaç kullanıcı sığar
Buradaki hiçbir kart onu herhangi bir hassasiyette tek başına taşıyamaz; servis etmek, tensor parallel ile birden çok GPU'ya bölmek demektir.
DeepSeek V3 ince ayarı
| Yöntem | Bellek | En küçük GPU |
|---|---|---|
| Tam ince ayar | 10203,0 GiB | birden çok GPU, paylaştırılmış |
| LoRA (rank 16, attention) | 1278,4 GiB | birden çok GPU, paylaştırılmış |
| QLoRA (rank 16, attention) | 332,4 GiB | Apple M3 Ultra (512GB) |
Dizi uzunluğu 2.048, batch 1, gradient checkpointing açık, Adam. Tam ince ayar aktivasyonlardan önce parametre başına 16 byte tutar; QLoRA dondurulmuş temel modeli 4-bit NF4 olarak saklar.
Sayılar nereden geliyor
Ağırlıklar parametre × parametre başına byte olur. MLA'da KV cache katman × (kv_lora_rank + qk_rope_head_dim) × byte × context × kullanıcı olur. DeepSeek V3 için bu, FP16'da token başına 68,6 KiB eder. Bunlar kapasite planlama sayılarıdır: servis motoru — vLLM, TGI, llama.cpp — ve paged-attention verimliliği gerçek değeri yine değiştirir.
Daha fazlası: KV cache boyutu ve GQA, MQA ve MLA.