LLMScalecanlı Hugging Face verisi
ENTR

H200 141GB: hangi LLM'ler sığar?

H200 141GB 141 GB belleğe sahiptir. LLMScale modele bunun 128,6 GiB kadarını ayırır: kartın bildirdiği belleğin vLLM varsayılanı olan %92'si (--gpu-memory-utilization 0.92); kalanı CUDA bağlamına kalır. Bellek bant genişliği 4.800 GB/sn'dir; bir model sığdıktan sonra üretim hızını sınırlayan budur. Aşağıdaki 31 popüler açık modelden 23 tanesi BF16'da, 28 tanesi FP8'de, 29 tanesi INT4'te 8k context ve tek kullanıcıyla sığar.

Veri merkezi · kullanılabilir bellek
128,6 GiB

31 modelden 29 tanesi INT4'te, 23 tanesi BF16'da sığar.

H200 141GB: hangi LLM'ler sığar

ModelBF16FP8INT4KullanıcıMaks context
Qwen2.5 0.5B Instruct2,33 GiB2,00 GiB1,84 GiB1.347BF1632kBF16
Gemma 3 1B IT4,10 GiB3,45 GiB3,15 GiB569BF1632kBF16
Llama 3.2 1B Instruct4,00 GiB3,10 GiB2,67 GiB499BF16128kBF16
Llama 3.2 3B Instruct8,65 GiB6,02 GiB4,79 GiB138BF16128kBF16
Phi-3 mini 4k9,83 GiB6,45 GiB4,87 GiB80BF164kBF16
Gemma 3 4B IT14,67 GiB11,29 GiB9,71 GiB104BF16128kBF16
Mistral 7B Instruct v0.316,15 GiB9,65 GiB6,60 GiB113BF1632kBF16
Qwen2.5 Coder 7B16,95 GiB10,87 GiB8,02 GiB256BF1632kBF16
Qwen2.5 7B Instruct16,95 GiB10,87 GiB8,02 GiB256BF1632kBF16
Llama 3.1 8B Instruct18,07 GiB11,57 GiB8,53 GiB111BF16128kBF16
Qwen3 8B18,80 GiB12,33 GiB9,30 GiB98BF1640kBF16
Gemma 2 9B IT23,21 GiB15,46 GiB11,83 GiB41BF168kBF16
Gemma 3 12B IT31,77 GiB21,36 GiB16,48 GiB33BF16128kBF16
Mistral Nemo 12B Instruct26,61 GiB16,45 GiB11,69 GiB82BF16128kBF16
Qwen2.5 14B Instruct31,91 GiB19,60 GiB13,84 GiB65BF1632kBF16
gpt-oss 20B42,41 GiB24,01 GiB16,27 GiB230BF16128kBF16
Gemma 2 27B IT57,57 GiB33,34 GiB21,98 GiB25BF168kBF16
Gemma 3 27B IT62,20 GiB37,97 GiB26,61 GiB16BF16128kBF16
Qwen3 30B A3B59,90 GiB32,04 GiB18,99 GiB92BF1640kBF16
Qwen3 Coder 30B A3B59,90 GiB32,04 GiB18,99 GiB92BF16256kBF16
Qwen2.5 32B Instruct66,31 GiB37,25 GiB23,63 GiB32BF1632kBF16
Qwen3 32B66,19 GiB37,13 GiB23,50 GiB32BF1640kBF16
Mixtral 8x7B Instruct91,95 GiB48,70 GiB28,42 GiB37BF1632kBF16
Llama 3.3 70B Instruct138,0 GiB (sığmaz)74,26 GiB44,38 GiB22FP8128kFP8
Llama 3.1 70B Instruct138,0 GiB (sığmaz)74,26 GiB44,38 GiB22FP8128kFP8
Qwen2.5 72B Instruct142,5 GiB (sığmaz)77,08 GiB46,43 GiB21FP832kFP8
Llama 4 Scout 17B-16E Instruct207,5 GiB (sığmaz)108,2 GiB61,69 GiB14FP8117kFP8
gpt-oss 120B221,3 GiB (sığmaz)113,6 GiB64,48 GiB27FP8128kFP8
Mixtral 8x22B Instruct268,5 GiB (sığmaz)137,9 GiB (sığmaz)76,73 GiB30INT464kINT4
Llama 3.1 405B Instruct768,6 GiB (sığmaz)394,6 GiB (sığmaz)219,2 GiB (sığmaz)——
DeepSeek V31280,7 GiB (sığmaz)644,9 GiB (sığmaz)346,8 GiB (sığmaz)——

Bellek; 8k context ve tek kullanıcı (modelin maksimum context'i daha kısaysa o) için, FP16 KV cache ve bu kartın varsayılanlarıyla vLLM'in ek yüküyle hesaplanır. Kullanıcı sayısı (her biri 8k) ve maksimum context, sığan en yüksek hassasiyet içindir.

BF16, FP8 ve INT4'ün bellek için anlamı: quantization ve VRAM.

Tek karta sığmayan bir model birden çok kartta çalışabilir: tensor parallel, ağırlıklarını ve KV cache'ini kartlar arasında böler. Kaç tane gerektiğini hesaplayıcı bulur.

H200 141GB için bir modeli hesapla

Diğer GPU'lar