LLMScaleRTX 4060 Ti 16GB: hangi LLM'ler sığar?
RTX 4060 Ti 16GB 16 GB belleğe sahiptir. LLMScale modele bunun 14,72 GiB kadarını ayırır: kartın bildirdiği belleğin vLLM varsayılanı olan %92'si (--gpu-memory-utilization 0.92); kalanı CUDA bağlamına kalır. Bellek bant genişliği 288 GB/sn'dir; bir model sığdıktan sonra üretim hızını sınırlayan budur. Aşağıdaki 31 popüler açık modelden 6 tanesi BF16'da, 11 tanesi FP8'de, 15 tanesi INT4'te 8k context ve tek kullanıcıyla sığar.
31 modelden 15 tanesi INT4'te, 6 tanesi BF16'da sığar.
RTX 4060 Ti 16GB: hangi LLM'ler sığar
| Model | BF16 | FP8 | INT4 | Kullanıcı | Maks context |
|---|---|---|---|---|---|
| Qwen2.5 0.5B Instruct | 1,85 GiB | 1,52 GiB | 1,36 GiB | 138BF16 | 32kBF16 |
| Gemma 3 1B IT | 3,27 GiB | 2,62 GiB | 2,31 GiB | 84BF16 | 32kBF16 |
| Llama 3.2 1B Instruct | 3,63 GiB | 2,72 GiB | 2,29 GiB | 45BF16 | 128kBF16 |
| Llama 3.2 3B Instruct | 8,28 GiB | 5,65 GiB | 4,42 GiB | 8BF16 | 67kBF16 |
| Phi-3 mini 4k | 9,42 GiB | 6,04 GiB | 4,46 GiB | 4BF16 | 4kBF16 |
| Gemma 3 4B IT | 10,57 GiB | 7,19 GiB | 5,61 GiB | 6BF16 | 128kBF16 |
| Mistral 7B Instruct v0.3 | 15,43 GiB (sığmaz) | 8,93 GiB | 5,88 GiB | 6FP8 | 32kFP8 |
| Qwen2.5 Coder 7B | 16,37 GiB (sığmaz) | 10,30 GiB | 7,45 GiB | 11FP8 | 32kFP8 |
| Qwen2.5 7B Instruct | 16,37 GiB (sığmaz) | 10,30 GiB | 7,45 GiB | 11FP8 | 32kFP8 |
| Llama 3.1 8B Instruct | 17,71 GiB (sığmaz) | 11,21 GiB | 8,16 GiB | 4FP8 | 36kFP8 |
| Qwen3 8B | 18,37 GiB (sığmaz) | 11,90 GiB | 8,87 GiB | 3FP8 | 28kFP8 |
| Gemma 2 9B IT | 22,48 GiB (sığmaz) | 14,73 GiB (sığmaz) | 11,09 GiB | 2INT4 | 8kINT4 |
| Gemma 3 12B IT | 26,85 GiB (sığmaz) | 16,44 GiB (sığmaz) | 11,55 GiB | 2INT4 | 59kINT4 |
| Mistral Nemo 12B Instruct | 26,23 GiB (sığmaz) | 16,07 GiB (sığmaz) | 11,31 GiB | 3INT4 | 30kINT4 |
| Qwen2.5 14B Instruct | 31,48 GiB (sığmaz) | 19,17 GiB (sığmaz) | 13,40 GiB | 1INT4 | 15kINT4 |
| gpt-oss 20B | 41,22 GiB (sığmaz) | 22,82 GiB (sığmaz) | 15,96 GiB (sığmaz) | — | — |
| Gemma 2 27B IT | 56,79 GiB (sığmaz) | 32,55 GiB (sığmaz) | 21,19 GiB (sığmaz) | — | — |
| Gemma 3 27B IT | 56,53 GiB (sığmaz) | 32,29 GiB (sığmaz) | 20,93 GiB (sığmaz) | — | — |
| Qwen3 30B A3B | 59,07 GiB (sığmaz) | 31,21 GiB (sığmaz) | 18,15 GiB (sığmaz) | — | — |
| Qwen3 Coder 30B A3B | 59,07 GiB (sığmaz) | 31,21 GiB (sığmaz) | 18,15 GiB (sığmaz) | — | — |
| Qwen2.5 32B Instruct | 65,64 GiB (sığmaz) | 36,58 GiB (sığmaz) | 22,96 GiB (sığmaz) | — | — |
| Qwen3 32B | 65,64 GiB (sığmaz) | 36,58 GiB (sığmaz) | 22,96 GiB (sığmaz) | — | — |
| Mixtral 8x7B Instruct | 89,46 GiB (sığmaz) | 46,21 GiB (sığmaz) | 25,94 GiB (sığmaz) | — | — |
| Llama 3.3 70B Instruct | 137,6 GiB (sığmaz) | 73,89 GiB (sığmaz) | 44,01 GiB (sığmaz) | — | — |
| Llama 3.1 70B Instruct | 137,6 GiB (sığmaz) | 73,89 GiB (sığmaz) | 44,01 GiB (sığmaz) | — | — |
| Qwen2.5 72B Instruct | 142,0 GiB (sığmaz) | 76,64 GiB (sığmaz) | 45,99 GiB (sığmaz) | — | — |
| Llama 4 Scout 17B-16E Instruct | 205,4 GiB (sığmaz) | 106,2 GiB (sığmaz) | 59,64 GiB (sığmaz) | — | — |
| gpt-oss 120B | 220,1 GiB (sığmaz) | 112,4 GiB (sığmaz) | 68,40 GiB (sığmaz) | — | — |
| Mixtral 8x22B Instruct | 265,6 GiB (sığmaz) | 135,1 GiB (sığmaz) | 73,87 GiB (sığmaz) | — | — |
| Llama 3.1 405B Instruct | 768,3 GiB (sığmaz) | 394,2 GiB (sığmaz) | 218,9 GiB (sığmaz) | — | — |
| DeepSeek V3 | 1279,1 GiB (sığmaz) | 643,3 GiB (sığmaz) | 345,2 GiB (sığmaz) | — | — |
Bellek; 8k context ve tek kullanıcı (modelin maksimum context'i daha kısaysa o) için, FP16 KV cache ve bu kartın varsayılanlarıyla vLLM'in ek yüküyle hesaplanır. Kullanıcı sayısı (her biri 8k) ve maksimum context, sığan en yüksek hassasiyet içindir.
BF16, FP8 ve INT4'ün bellek için anlamı: quantization ve VRAM.
Tek karta sığmayan bir model birden çok kartta çalışabilir: tensor parallel, ağırlıklarını ve KV cache'ini kartlar arasında böler. Kaç tane gerektiğini hesaplayıcı bulur.