NVIDIA, 256K context'li looped model Nemotron-Labs-Dory1.0-4B'yi yayımladı
NVIDIA, açık 4B'lik looped model Nemotron-Labs-Dory1.0-4B'yi yayımladı. Paylaşılan 20 katmanlı bir blok, 8 katmanlı giriş ve çıkış blokları arasında tekrar tekrar çalışıyor. Sliding-window ve full attention katmanlarını birlikte kullanıyor; context 256K'ya kadar çıkıyor.
Per-loop modda KV cache her döngüyle büyüyor; last-loop modu onu tek döngü boyutunda tutuyor. LLMScale tahmini, 8K context'te tek kullanıcı için BF16'da 11,12 GiB, FP8'de 8,05 GiB. vLLM desteği henüz açık bir PR'da.
#looped-models #kv-cache #long-context #vllm
NVIDIA-Nemotron-Labs-Dory1.0-4B-BF16 · 3,98B parametre · 8k context, tek kullanıcı
FP16 KV cache ve her cihazda kendi varsayılanlarıyla vLLM'in ek yükü. “Sığdığı cihaz”: modeli tek başına taşıyan en küçük cihaz ya da en büyüğünden kaç tane gerektiği. Context, kullanıcı ya da GPU'yu hesaplayıcıda değiştir
Unsloth, DeepSeek-V4.1-Flash-1017'nin GGUF sürümleri için Hugging Face'te bir repo açtı. Model, DeepSeek-V4.1-Flash'ın MIT lisanslı küçük bir güncellemesi; reasoning, kodlama ve agentic görevlerde iyileşme bildiriliyor. Sayfaya göre quant'lar henüz yüklenmedi.
LLMScale tahmini: 748,49B parametre, token başına yaklaşık 173,27B aktif (MoE). 8.192 token context ile tek kullanıcı için FP8'de 701,1 GiB (8× B200), INT4'te 374,9 GiB; bu da 512GB M3 Ultra'ya sığıyor. Önerilen context 1M token.
#deepseek #gguf #moe #quantization
DeepSeek-V4.1-Flash-1017-GGUF · 748,49B parametre · 8k context, tek kullanıcı
FP16 KV cache ve her cihazda kendi varsayılanlarıyla vLLM'in ek yükü. “Sığdığı cihaz”: modeli tek başına taşıyan en küçük cihaz ya da en büyüğünden kaç tane gerektiği. Context, kullanıcı ya da GPU'yu hesaplayıcıda değiştir
Amazon, Qwen3-8B'den başlatılan diffusion dil modeli ALoDLM-8B'yi yayımladı. Model ortak transformer katmanlarını döngü içinde yeniden kullanıyor ve henüz çözülmemiş token'lara ek geçiş veriyor. Reddit'teki paylaşım Qwen3-8B'ye göre yaklaşık 3 kat hız iddia ediyor. Model kartındaki ölçüm ise tek B200'de, tek akışta ve kalite testlerinden ayrı bir paralel commit modunda yapılmış. Lisans CC BY-NC 4.0.
LLMScale tahmini, tek kullanıcı ve 8.192 token context için: BF16'da 18,37 GiB, FP8'de 11,90 GiB, INT4'te 8,87 GiB.
FP16 KV cache ve her cihazda kendi varsayılanlarıyla vLLM'in ek yükü. “Sığdığı cihaz”: modeli tek başına taşıyan en küçük cihaz ya da en büyüğünden kaç tane gerektiği. Context, kullanıcı ya da GPU'yu hesaplayıcıda değiştir
vLLM'in verilerine göre Kimi K3'ü sunan sekiz GPU'lu AMD Instinct MI355X sistemi, AgentX benchmark'ında GPU başına yaklaşık 7.567 token/s üretiyor. Bu, 50 token/s/kullanıcı P90'da NVIDIA HGX B300'ün (6.083) %24,4 üzerinde. İki GPU'da da 288 GB HBM3E bulunuyor.
Kazancın büyük kısmı cache tarafından geliyor. DCP8, MLA KV geçmişini GPU'lara bölüyor ve 142 bin token'lık bir konuşmanın GPU başına yükünü 1,96 GB'tan 245 MB'a indiriyor. LLMScale'in tahminine göre INT4'te tek kullanıcı ve 8K context için 1458,6 GiB gerekiyor.
#moe #kv-cache #vllm #amd
Kimi-K3 · 2,78T parametre · 8k context, tek kullanıcı
FP16 KV cache ve her cihazda kendi varsayılanlarıyla vLLM'in ek yükü. “Sığdığı cihaz”: modeli tek başına taşıyan en küçük cihaz ya da en büyüğünden kaç tane gerektiği. Context, kullanıcı ya da GPU'yu hesaplayıcıda değiştir
r/LocalLLaMA'daki bir özet, 72 saatte çıkan dört open-weight modeli sıralıyor: Meta Muse Spark Open (816B toplam, 42B aktif), Reflection Beam (501B, 23B aktif), DeepSeek V4.1 Flash 1017 (510GB repo) ve NVIDIA Nemotron 3.5 Bolt (74B, 9B aktif).
24GB GPU'yu hedefleyen tek model Bolt: 2 bit'e kadar quantization-aware eğitimle ağırlıklar 22GB, üstüne 1,7GB vision projector geliyor; KV cache için pay çok az kalıyor. Beam'in en küçük resmi checkpoint'i NVFP4 ile 294GB. Boyutlar gönderiden alındı, LLMScale tahmini değil.
vLLM, Kimi K3 için NVIDIA GB300'e özel bir decode yolu ekledi. Ajan destekli CuTe DSL kernel'leri, tek NVLink alanındaki 8 ya da 16 GPU üzerinde attention, MoE ve iletişimi birleştiriyor. Katman başına decode süresi 130'dan 69 mikrosaniyeye iniyor.
Spekülasyon olmadan batch 1–64 aralığında throughput TP16'da 1,62–1,92 kat, TP8'de 1,31–1,58 kat artıyor. DSpark ile (sentetik AL=6) TP16'da batch 1, standart vLLM'deki 488'e karşı 842 token/s'ye ulaşıyor. Uzun context'te decode context parallelism KV cache'i GPU'lara bölüyor.
LLMScale