LLMScaleLLM belleği nasıl çalışır
Bir dil modelinin ne kadar GPU belleği istediğini belirleyen kavramlar için üç rehber. Her biri gerçek modeller üzerinden ilerler ve içlerindeki her sayı hesaplayıcıyla aynı motordan hesaplanır.
KV cache boyutu: formül ve gerçek modellerle örnekler
Formül, çözümlü bir örnek, popüler modellerde token başına değerler; eşzamanlılığın onu neden çarptığı ve ağırlık quantization'ının neden dokunmadığı.
GQA, MQA ve MLA: attention KV cache'i nasıl belirler
Attention head'lerini düzenlemenin dört yolu, önbelleği neden on kat değiştirdikleri ve DeepSeek'in latent attention'ının head sayısını formülden nasıl çıkardığı.
Quantization ve VRAM: BF16, FP8, INT8 ve INT4
FP32'den INT4'e parametre başına byte, karşılaşacağın formatlar, 4-bit'in neden tam yarım byte olmadığı ve KV cache'e neden dokunmadığı.