LLMScaleNVIDIA DGX Spark (GB10): hangi LLM'ler sığar?
NVIDIA DGX Spark (GB10), 128 GB belleği CPU ve GPU arasında paylaşır; GPU varsayılan olarak bunun yaklaşık 120 GB'ını kullanabilir ve LLMScale modele 111,9 GiB ayırır: GPU'nun bildirdiği belleğin vLLM varsayılanı olan %92'si. Bellek bant genişliği 273 GB/sn'dir; bir model sığdıktan sonra üretim hızını sınırlayan budur. Aşağıdaki 31 popüler açık modelden 23 tanesi BF16'da, 27 tanesi FP8'de, 29 tanesi INT4'te 8k context ve tek kullanıcıyla sığar.
31 modelden 29 tanesi INT4'te, 23 tanesi BF16'da sığar.
NVIDIA DGX Spark (GB10): hangi LLM'ler sığar
| Model | BF16 | FP8 | INT4 | Kullanıcı | Maks context |
|---|---|---|---|---|---|
| Qwen2.5 0.5B Instruct | 2,33 GiB | 2,00 GiB | 1,84 GiB | 1.169BF16 | 32kBF16 |
| Gemma 3 1B IT | 4,10 GiB | 3,45 GiB | 3,15 GiB | 492BF16 | 32kBF16 |
| Llama 3.2 1B Instruct | 4,00 GiB | 3,10 GiB | 2,67 GiB | 432BF16 | 128kBF16 |
| Llama 3.2 3B Instruct | 8,65 GiB | 6,02 GiB | 4,79 GiB | 119BF16 | 128kBF16 |
| Phi-3 mini 4k | 9,83 GiB | 6,45 GiB | 4,87 GiB | 69BF16 | 4kBF16 |
| Gemma 3 4B IT | 14,67 GiB | 11,29 GiB | 9,71 GiB | 89BF16 | 128kBF16 |
| Mistral 7B Instruct v0.3 | 16,15 GiB | 9,65 GiB | 6,60 GiB | 96BF16 | 32kBF16 |
| Qwen2.5 Coder 7B | 16,95 GiB | 10,87 GiB | 8,02 GiB | 218BF16 | 32kBF16 |
| Qwen2.5 7B Instruct | 16,95 GiB | 10,87 GiB | 8,02 GiB | 218BF16 | 32kBF16 |
| Llama 3.1 8B Instruct | 18,07 GiB | 11,57 GiB | 8,53 GiB | 94BF16 | 128kBF16 |
| Qwen3 8B | 18,80 GiB | 12,33 GiB | 9,30 GiB | 83BF16 | 40kBF16 |
| Gemma 2 9B IT | 23,21 GiB | 15,46 GiB | 11,83 GiB | 34BF16 | 8kBF16 |
| Gemma 3 12B IT | 31,77 GiB | 21,36 GiB | 16,48 GiB | 27BF16 | 128kBF16 |
| Mistral Nemo 12B Instruct | 26,61 GiB | 16,45 GiB | 11,69 GiB | 69BF16 | 128kBF16 |
| Qwen2.5 14B Instruct | 31,91 GiB | 19,60 GiB | 13,84 GiB | 54BF16 | 32kBF16 |
| gpt-oss 20B | 42,41 GiB | 24,01 GiB | 17,16 GiB | 186BF16 | 128kBF16 |
| Gemma 2 27B IT | 57,57 GiB | 33,34 GiB | 21,98 GiB | 19BF16 | 8kBF16 |
| Gemma 3 27B IT | 62,20 GiB | 37,97 GiB | 26,61 GiB | 12BF16 | 128kBF16 |
| Qwen3 30B A3B | 59,90 GiB | 32,04 GiB | 18,99 GiB | 70BF16 | 40kBF16 |
| Qwen3 Coder 30B A3B | 59,90 GiB | 32,04 GiB | 18,99 GiB | 70BF16 | 256kBF16 |
| Qwen2.5 32B Instruct | 66,31 GiB | 37,25 GiB | 23,63 GiB | 23BF16 | 32kBF16 |
| Qwen3 32B | 66,19 GiB | 37,13 GiB | 23,50 GiB | 23BF16 | 40kBF16 |
| Mixtral 8x7B Instruct | 91,95 GiB | 48,70 GiB | 28,42 GiB | 20BF16 | 32kBF16 |
| Llama 3.3 70B Instruct | 138,0 GiB (sığmaz) | 74,26 GiB | 44,38 GiB | 16FP8 | 128kFP8 |
| Llama 3.1 70B Instruct | 138,0 GiB (sığmaz) | 74,26 GiB | 44,38 GiB | 16FP8 | 128kFP8 |
| Qwen2.5 72B Instruct | 142,5 GiB (sığmaz) | 77,08 GiB | 46,43 GiB | 14FP8 | 32kFP8 |
| Llama 4 Scout 17B-16E Instruct | 207,5 GiB (sığmaz) | 108,2 GiB | 61,69 GiB | 3FP8 | 28kFP8 |
| gpt-oss 120B | 221,3 GiB (sığmaz) | 113,6 GiB (sığmaz) | 69,63 GiB | 76INT4 | 128kINT4 |
| Mixtral 8x22B Instruct | 268,5 GiB (sığmaz) | 137,9 GiB (sığmaz) | 76,73 GiB | 21INT4 | 64kINT4 |
| Llama 3.1 405B Instruct | 768,6 GiB (sığmaz) | 394,6 GiB (sığmaz) | 219,2 GiB (sığmaz) | — | — |
| DeepSeek V3 | 1280,7 GiB (sığmaz) | 644,9 GiB (sığmaz) | 346,8 GiB (sığmaz) | — | — |
Bellek; 8k context ve tek kullanıcı (modelin maksimum context'i daha kısaysa o) için, FP16 KV cache ve bu kartın varsayılanlarıyla vLLM'in ek yüküyle hesaplanır. Kullanıcı sayısı (her biri 8k) ve maksimum context, sığan en yüksek hassasiyet içindir.
BF16, FP8 ve INT4'ün bellek için anlamı: quantization ve VRAM.
Tek karta sığmayan bir model birden çok kartta çalışabilir: tensor parallel, ağırlıklarını ve KV cache'ini kartlar arasında böler. Kaç tane gerektiğini hesaplayıcı bulur.