NVIDIA, 120B-A12B multimodal MoE modeli Nemotron 3.5 Super VL'i NVFP4 ile yayımladı
NVIDIA, 120B parametreli ve token başına 12B parametre aktive eden açık multimodal MoE modeli Nemotron 3.5 Super VL'i yayımladı. Metin, görsel, doküman ve video tek modelde ele alınıyor. Checkpoint NVFP4: Blackwell'de 4 bit ağırlık ve aktivasyon, diğer GPU'larda 4 bit ağırlık ve 16 bit aktivasyon.
Token başına yalnızca 12B çalışsa da 120B ağırlığın tamamı belleğe sığmalı. NVIDIA, LiLiCorr speculative decoding ile DGX Spark'ta token üretiminin 2,3 kata kadar hızlandığını söylüyor.
vLLM, Meta'nın açık ağırlıklı MoE modeli Muse Spark Open'ı ilk günden destekliyor: toplam 816B, token başına 42B aktif parametre ve 1M token context. Ağırlıklar BF16 ve NVFP4 olarak, AMD'nin MXFP4 sürümüyle birlikte yayımlandı.
62 katmanın 46'sı 2048 token'lık sliding window kullandığından 1M token'da KV cache, tamamı full attention olan bir modelin dörtte birini biraz aşıyor. Örnek kurulum NVFP4'ü TP8 ve expert parallelism ile, speculative decoding için DSpark draft modeliyle sunuyor.
NVIDIA, 4B parametreli döngülü (looped) dil modeli Dory1.0-4B'yi yayımladı: 20 katmanlık ortak bir blok, 8 giriş ve 8 çıkış katmanı arasında tekrarlanıyor. Sliding-window ve full attention katmanları dönüşümlü, context 256K token'a kadar. Döngü sayısı inference sırasında seçiliyor; SWE-bench Verified 1 döngüde 50,3, 4 döngüde 61,8.
Model kartına göre last-loop KV caching ile ek döngüler compute ekliyor ama KV cache büyütmüyor. LLMScale tahmini: 8K context'te tek kullanıcı için BF16'da 11,12 GiB, INT4'te 6,60 GiB.
#looped-model #kv-cache #nvidia #long-context
NVIDIA-Nemotron-Labs-Dory1.0-4B-BF16 · 3,98B parametre · 8k context, tek kullanıcı
FP16 KV cache ve her cihazda kendi varsayılanlarıyla vLLM'in ek yükü. “Sığdığı cihaz”: modeli tek başına taşıyan en küçük cihaz ya da en büyüğünden kaç tane gerektiği. Context, kullanıcı ya da GPU'yu hesaplayıcıda değiştir
NVIDIA, açık 4B'lik looped model Nemotron-Labs-Dory1.0-4B'yi yayımladı. Paylaşılan 20 katmanlı bir blok, 8 katmanlı giriş ve çıkış blokları arasında tekrar tekrar çalışıyor. Sliding-window ve full attention katmanlarını birlikte kullanıyor; context 256K'ya kadar çıkıyor.
Per-loop modda KV cache her döngüyle büyüyor; last-loop modu onu tek döngü boyutunda tutuyor. LLMScale tahmini, 8K context'te tek kullanıcı için BF16'da 11,12 GiB, FP8'de 8,05 GiB. vLLM desteği henüz açık bir PR'da.
#looped-models #kv-cache #long-context #vllm
NVIDIA-Nemotron-Labs-Dory1.0-4B-BF16 · 3,98B parametre · 8k context, tek kullanıcı
FP16 KV cache ve her cihazda kendi varsayılanlarıyla vLLM'in ek yükü. “Sığdığı cihaz”: modeli tek başına taşıyan en küçük cihaz ya da en büyüğünden kaç tane gerektiği. Context, kullanıcı ya da GPU'yu hesaplayıcıda değiştir
Unsloth, DeepSeek-V4.1-Flash-1017'nin GGUF sürümleri için Hugging Face'te bir repo açtı. Model, DeepSeek-V4.1-Flash'ın MIT lisanslı küçük bir güncellemesi; reasoning, kodlama ve agentic görevlerde iyileşme bildiriliyor. Sayfaya göre quant'lar henüz yüklenmedi.
LLMScale tahmini: 748,49B parametre, token başına yaklaşık 173,27B aktif (MoE). 8.192 token context ile tek kullanıcı için FP8'de 701,1 GiB (8× B200), INT4'te 374,9 GiB; bu da 512GB M3 Ultra'ya sığıyor. Önerilen context 1M token.
#deepseek #gguf #moe #quantization
DeepSeek-V4.1-Flash-1017-GGUF · 748,49B parametre · 8k context, tek kullanıcı
FP16 KV cache ve her cihazda kendi varsayılanlarıyla vLLM'in ek yükü. “Sığdığı cihaz”: modeli tek başına taşıyan en küçük cihaz ya da en büyüğünden kaç tane gerektiği. Context, kullanıcı ya da GPU'yu hesaplayıcıda değiştir
Amazon, Qwen3-8B'den başlatılan diffusion dil modeli ALoDLM-8B'yi yayımladı. Model ortak transformer katmanlarını döngü içinde yeniden kullanıyor ve henüz çözülmemiş token'lara ek geçiş veriyor. Reddit'teki paylaşım Qwen3-8B'ye göre yaklaşık 3 kat hız iddia ediyor. Model kartındaki ölçüm ise tek B200'de, tek akışta ve kalite testlerinden ayrı bir paralel commit modunda yapılmış. Lisans CC BY-NC 4.0.
LLMScale tahmini, tek kullanıcı ve 8.192 token context için: BF16'da 18,37 GiB, FP8'de 11,90 GiB, INT4'te 8,87 GiB.
FP16 KV cache ve her cihazda kendi varsayılanlarıyla vLLM'in ek yükü. “Sığdığı cihaz”: modeli tek başına taşıyan en küçük cihaz ya da en büyüğünden kaç tane gerektiği. Context, kullanıcı ya da GPU'yu hesaplayıcıda değiştir
LLMScale