Model anatomisi — bir LLM'in parametreleri ve belleği nereye gidiyor
Model anatomisi yükleniyor…
Anatomi neyi gösteriyor
Anatomi görünümü, bir modelin parametrelerini bulundukları yere göre ayırır. Embedding'ler kelime dağarcığı tablosudur — giriş ve çıkış embedding'leri paylaşılmıyorsa iki kez sayılır. Attention; query, key, value ve çıkış projeksiyonlarıdır. Geri kalan her şey, çoğunlukla ileri beslemeli ağ ya da uzmanlar, kalan paydır; böylece parçalar her zaman modelin gerçek toplamını verir.
- embedding = kelime dağarcığı × hidden boyutu (paylaşılmıyorsa × 2)
- attention = 2 × katman × hidden boyutu × head_dim × (attention head + key-value head)
- ileri besleme / uzmanlar = toplam parametre − embedding − attention
- aktif uzmanlar (MoE) = ileri besleme × token başına uzman ÷ uzman sayısı
KV cache grafiği tek bir diziyi FP16'da sıfırdan modelin maksimum context'ine kadar, en fazla 128k token için çizer. Grouped-query attention kullanan modellerde kesik çizgi, tam multi-head attention'ın ne kadar tutacağını gösterir — aradaki fark GQA'nın kazandırdığıdır. Hassasiyet kartı ağırlıkların BF16, FP8 ya da INT8 ve INT4'te ne kadar yer tuttuğunu gösterir.
Sık sorulanlar
- Grouped-query attention (GQA) nedir?
- Birden çok query head, tek bir key ve value head grubunu paylaşır. KV cache query head sayısıyla değil key-value head sayısıyla büyür; 64 query head'i ve 8 key-value head'i olan bir model, tam multi-head attention'a göre 8 kat daha az önbellek tutar.
- Küçük modellerde embedding'ler neden bu kadar büyük pay alıyor?
- Embedding tablosu kelime dağarcığı × hidden boyutudur ve günümüzün kelime dağarcıkları büyüktür. Qwen2.5 7B'de embedding'ler yaklaşık 1,09 milyar parametre tutar, attention ise 0,82 milyar; geri kalanın çoğu ileri beslemeli katmanlardadır.
- MoE bir model neden çok daha az aktif parametre gösteriyor?
- Her token için yalnızca birkaç uzman çalışır. Aktif sayı; embedding'leri, attention'ı ve bir token'ın gerçekten geçtiği uzman payını sayar — bellekte ise hepsinin tutulması gerekir.
- Veriler nereden geliyor?
- Modelin config.json dosyasından ve Hugging Face model API'sinden, tarayıcında canlı olarak. İndirme, beğeni, lisans ve depo boyutu da aynı yerden gelir.