vLLM, GB300'de Kimi K3 decode hızını özel kernel'lerle 1,9 kata kadar artırdı
vLLM, Kimi K3 için NVIDIA GB300'e özel bir decode yolu ekledi. Ajan destekli CuTe DSL kernel'leri, tek NVLink alanındaki 8 ya da 16 GPU üzerinde attention, MoE ve iletişimi birleştiriyor. Katman başına decode süresi 130'dan 69 mikrosaniyeye iniyor.
Spekülasyon olmadan batch 1–64 aralığında throughput TP16'da 1,62–1,92 kat, TP8'de 1,31–1,58 kat artıyor. DSpark ile (sentetik AL=6) TP16'da batch 1, standart vLLM'deki 488'e karşı 842 token/s'ye ulaşıyor. Uzun context'te decode context parallelism KV cache'i GPU'lara bölüyor.
Intel, Crescent Island kod adlı GPU'sunu D-Series olarak adlandırdı. D270'te 32 Xe3P çekirdeği, 256 XMX motoru ve 32 MB L2 cache bulunuyor. Kart 1,3 PFLOPS FP8 performans sunuyor, FP4'ten FP64'e formatları destekliyor ve 350 W, hava soğutmalı, PCIe Gen5 x16 tasarımda. Intel'in kendi sürümünde 160 GB LPDDR5X var, ODM tasarımları 480 GB'a çıkıyor. Bant genişliği 1,5 TB/s.
Bu kapasite, büyük ağırlıkları ve uzun context KV cache'ini tek kartta tutmaya yetebilir. Ancak decode bant genişliğine bağlı olduğundan 1,5 TB/s hızı sınırlar. Fiyat henüz açıklanmadı.
vLLM'in prefill-decode ayrıştırmalı serving'inde decode node'u artık KV cache'i prefill node'una geri gönderebiliyor. Böylece agent konuşmalarının sonraki turlarında önceki context yeniden hesaplanmıyor. Prefill'de prefix caching kapalı 1P1D EC2 P5en kurulumunda, uzun prompt'larda TTFT Qwen3-32B için 1,6 kata, GLM-5-FP8 için 3,3 kata kadar düştü.
Bedeli decode VRAM'i ödüyor. Biten isteklerin KV blokları decoder_kv_blocks_ttl süresince (varsayılan 480 sn) tutuluyor, yani boştaki oturumlar süre dolana kadar bellek kaplıyor.
Ollama v0.40.0 ile Apple Silicon'da varsayılan runtime artık MLX. MLX'in desteklediği model mimarileri otomatik olarak MLX üzerinde çalışıyor. Listede qwen3.8, gemma4, qwen3.6, qwen3.5 ve embedding modeli embeddinggemma-2 yer alıyor. Test edildikçe yeni modeller eklenecek.
Mac'lerde inference backend'i herhangi bir ayar gerekmeden değişiyor. Sürüm notları hız ya da bellek rakamı vermiyor, bu yüzden throughput ve bellek kullanımını kendi donanımınızda yeniden ölçün.
Mistral, Mistral Large 4'ün önizleme sürümünü API üzerinden sundu: toplam 1T, aktif 49B parametreli bir MoE model; 3.800 NVIDIA Grace Blackwell GPU üzerinde eğitildi. Açık ağırlıkların bu ayın sonunda yayımlanacağı söyleniyor. Artificial Analysis'te 38 puan alıyor; Mistral Large 3'ün puanı 9'du.
Kendi donanımında çalıştıracaklar için: token başına hesaplama 49B aktif parametreye göre ölçekleniyor, ama 1T ağırlığın tamamı bellekte durmalı; donanım alt sınırını compute değil VRAM belirliyor. Model config'i henüz açık olmadığından bellek tahmini yok.
inclusionAI, toplam 560B ve token başına 25B aktif parametreye sahip, 1M token context desteği belirtilen hybrid-linear MoE modeli Ling-3.1-flash'ı yayınladı. 72 katmanın 63'ü KDA, 9'u Gated MLA. Bu yüzden klasik KV cache tutan katman sayısı az.
LLMScale tahminleri, tek kullanıcı ve 8K context için: FP8'de 537,3 GiB (4× B200), INT4'te 287,8 GiB (512GB M3 Ultra'ya sığıyor). Model kartındaki SGLang tarifi 8× H200 ya da 4× GB300 kullanıyor. vLLM için ayrı bir branch gerekiyor.
#moe #kv-cache #long-context #sglang
Ling-3.1-flash · 572,12B parametre · 8k context, tek kullanıcı
FP16 KV cache ve her cihazda kendi varsayılanlarıyla vLLM'in ek yükü. “Sığdığı cihaz”: modeli tek başına taşıyan en küçük cihaz ya da en büyüğünden kaç tane gerektiği. Context, kullanıcı ya da GPU'yu hesaplayıcıda değiştir
LLMScale