LLMScale — LLM Akışı

inclusionAI, 25B aktif parametreli 560B hybrid-linear MoE Ling-3.1-flash'ı yayınladı

Tue, 20 Oct 2026 05:42:40 GMT

inclusionAI, toplam 560B ve token başına 25B aktif parametreye sahip, 1M token context desteği belirtilen hybrid-linear MoE modeli Ling-3.1-flash'ı yayınladı. 72 katmanın 63'ü KDA, 9'u Gated MLA. Bu yüzden klasik KV cache tutan katman sayısı az.

LLMScale tahminleri, tek kullanıcı ve 8K context için: FP8'de 537,3 GiB (4× B200), INT4'te 287,8 GiB (512GB M3 Ultra'ya sığıyor). Model kartındaki SGLang tarifi 8× H200 ya da 4× GB300 kullanıyor. vLLM için ayrı bir branch gerekiyor.

Kaynaklar: Hugging Face · GitHub

Liquid AI, 2B aktif parametreli ve 131K context'li 24B MoE LFM2.5-24B-A2B'yi yayımladı

Tue, 20 Oct 2026 05:42:15 GMT

Liquid AI, açık ağırlıklı LFM2.5-24B-A2B'yi yayımladı. Model 24B parametreli bir reasoning MoE; token başına yaklaşık 2B parametre aktif ve top-4 yönlendirmeli 64 expert içeriyor. Context 32.768'den 131.072 token'a çıktı. Mimari, gated kısa konvolüsyonları GQA ile birleştiriyor. Liquid, Apple M5 Max'te saniyede 184 token decode hızı bildiriyor.

LLMScale tahmini, 8.192 token context'te tek kullanıcı için: BF16'da 45,97 GiB (A100 80GB), FP8'de 23,89 GiB (RTX 5090), INT4'te 13,54 GiB (RTX 4060 Ti 16GB).

Kaynaklar: Liquid AI · Hugging Face

NVIDIA, 120B-A12B multimodal MoE modeli Nemotron 3.5 Super VL'i NVFP4 ile yayımladı

Tue, 20 Oct 2026 05:39:42 GMT

NVIDIA, 120B parametreli ve token başına 12B parametre aktive eden açık multimodal MoE modeli Nemotron 3.5 Super VL'i yayımladı. Metin, görsel, doküman ve video tek modelde ele alınıyor. Checkpoint NVFP4: Blackwell'de 4 bit ağırlık ve aktivasyon, diğer GPU'larda 4 bit ağırlık ve 16 bit aktivasyon.

Token başına yalnızca 12B çalışsa da 120B ağırlığın tamamı belleğe sığmalı. NVIDIA, LiLiCorr speculative decoding ile DGX Spark'ta token üretiminin 2,3 kata kadar hızlandığını söylüyor.

Kaynaklar: NVIDIA Developer Blog · Hugging Face

vLLM, 816B-A42B MoE ve 1M context'li Muse Spark Open'a ilk gün desteği verdi

Tue, 20 Oct 2026 05:39:30 GMT

vLLM, Meta'nın açık ağırlıklı MoE modeli Muse Spark Open'ı ilk günden destekliyor: toplam 816B, token başına 42B aktif parametre ve 1M token context. Ağırlıklar BF16 ve NVFP4 olarak, AMD'nin MXFP4 sürümüyle birlikte yayımlandı.

62 katmanın 46'sı 2048 token'lık sliding window kullandığından 1M token'da KV cache, tamamı full attention olan bir modelin dörtte birini biraz aşıyor. Örnek kurulum NVFP4'ü TP8 ve expert parallelism ile, speculative decoding için DSpark draft modeliyle sunuyor.

Kaynaklar: vLLM · GitHub

NVIDIA, 256K context destekli döngülü 4B model Dory1.0-4B'yi yayımladı

Tue, 20 Oct 2026 05:39:30 GMT

NVIDIA, 4B parametreli döngülü (looped) dil modeli Dory1.0-4B'yi yayımladı: 20 katmanlık ortak bir blok, 8 giriş ve 8 çıkış katmanı arasında tekrarlanıyor. Sliding-window ve full attention katmanları dönüşümlü, context 256K token'a kadar. Döngü sayısı inference sırasında seçiliyor; SWE-bench Verified 1 döngüde 50,3, 4 döngüde 61,8.

Model kartına göre last-loop KV caching ile ek döngüler compute ekliyor ama KV cache büyütmüyor. LLMScale tahmini: 8K context'te tek kullanıcı için BF16'da 11,12 GiB, INT4'te 6,60 GiB.

Kaynaklar: Hugging Face · Reddit r/LocalLLaMA

NVIDIA, 256K context'li looped model Nemotron-Labs-Dory1.0-4B'yi yayımladı

Tue, 20 Oct 2026 05:39:10 GMT

NVIDIA, açık 4B'lik looped model Nemotron-Labs-Dory1.0-4B'yi yayımladı. Paylaşılan 20 katmanlı bir blok, 8 katmanlı giriş ve çıkış blokları arasında tekrar tekrar çalışıyor. Sliding-window ve full attention katmanlarını birlikte kullanıyor; context 256K'ya kadar çıkıyor.

Per-loop modda KV cache her döngüyle büyüyor; last-loop modu onu tek döngü boyutunda tutuyor. LLMScale tahmini, 8K context'te tek kullanıcı için BF16'da 11,12 GiB, FP8'de 8,05 GiB. vLLM desteği henüz açık bir PR'da.

Kaynaklar: Hugging Face · GitHub · GitHub

Unsloth, DeepSeek-V4.1-Flash-1017 için GGUF reposu açtı; quant'lar henüz yok

Tue, 20 Oct 2026 05:38:45 GMT

Unsloth, DeepSeek-V4.1-Flash-1017'nin GGUF sürümleri için Hugging Face'te bir repo açtı. Model, DeepSeek-V4.1-Flash'ın MIT lisanslı küçük bir güncellemesi; reasoning, kodlama ve agentic görevlerde iyileşme bildiriliyor. Sayfaya göre quant'lar henüz yüklenmedi.

LLMScale tahmini: 748,49B parametre, token başına yaklaşık 173,27B aktif (MoE). 8.192 token context ile tek kullanıcı için FP8'de 701,1 GiB (8× B200), INT4'te 374,9 GiB; bu da 512GB M3 Ultra'ya sığıyor. Önerilen context 1M token.

Kaynaklar: Hugging Face · Reddit r/LocalLLaMA

Amazon, Qwen3-8B tabanlı döngülü diffusion modeli ALoDLM-8B'yi yayımladı

Tue, 20 Oct 2026 05:38:45 GMT

Amazon, Qwen3-8B'den başlatılan diffusion dil modeli ALoDLM-8B'yi yayımladı. Model ortak transformer katmanlarını döngü içinde yeniden kullanıyor ve henüz çözülmemiş token'lara ek geçiş veriyor. Reddit'teki paylaşım Qwen3-8B'ye göre yaklaşık 3 kat hız iddia ediyor. Model kartındaki ölçüm ise tek B200'de, tek akışta ve kalite testlerinden ayrı bir paralel commit modunda yapılmış. Lisans CC BY-NC 4.0.

LLMScale tahmini, tek kullanıcı ve 8.192 token context için: BF16'da 18,37 GiB, FP8'de 11,90 GiB, INT4'te 8,87 GiB.

Kaynaklar: Hugging Face · Reddit r/LocalLLaMA

Kimi K3'te sekiz MI355X ile vLLM, GPU başına throughput'ta HGX B300'ü geçti

Tue, 20 Oct 2026 05:38:34 GMT

vLLM'in verilerine göre Kimi K3'ü sunan sekiz GPU'lu AMD Instinct MI355X sistemi, AgentX benchmark'ında GPU başına yaklaşık 7.567 token/s üretiyor. Bu, 50 token/s/kullanıcı P90'da NVIDIA HGX B300'ün (6.083) %24,4 üzerinde. İki GPU'da da 288 GB HBM3E bulunuyor.

Kazancın büyük kısmı cache tarafından geliyor. DCP8, MLA KV geçmişini GPU'lara bölüyor ve 142 bin token'lık bir konuşmanın GPU başına yükünü 1,96 GB'tan 245 MB'a indiriyor. LLMScale'in tahminine göre INT4'te tek kullanıcı ve 8K context için 1458,6 GiB gerekiyor.

Kaynaklar: vLLM · Hugging Face · vLLM

72 saatte dört open-weight model; 24GB'a sığan tek model NVIDIA Nemotron 3.5 Bolt

Tue, 20 Oct 2026 05:38:34 GMT

r/LocalLLaMA'daki bir özet, 72 saatte çıkan dört open-weight modeli sıralıyor: Meta Muse Spark Open (816B toplam, 42B aktif), Reflection Beam (501B, 23B aktif), DeepSeek V4.1 Flash 1017 (510GB repo) ve NVIDIA Nemotron 3.5 Bolt (74B, 9B aktif).

24GB GPU'yu hedefleyen tek model Bolt: 2 bit'e kadar quantization-aware eğitimle ağırlıklar 22GB, üstüne 1,7GB vision projector geliyor; KV cache için pay çok az kalıyor. Beam'in en küçük resmi checkpoint'i NVFP4 ile 294GB. Boyutlar gönderiden alındı, LLMScale tahmini değil.

Kaynaklar: Reddit r/LocalLLaMA

vLLM, GB300'de Kimi K3 decode hızını özel kernel'lerle 1,9 kata kadar artırdı

Tue, 20 Oct 2026 05:38:19 GMT

vLLM, Kimi K3 için NVIDIA GB300'e özel bir decode yolu ekledi. Ajan destekli CuTe DSL kernel'leri, tek NVLink alanındaki 8 ya da 16 GPU üzerinde attention, MoE ve iletişimi birleştiriyor. Katman başına decode süresi 130'dan 69 mikrosaniyeye iniyor.

Spekülasyon olmadan batch 1–64 aralığında throughput TP16'da 1,62–1,92 kat, TP8'de 1,31–1,58 kat artıyor. DSpark ile (sentetik AL=6) TP16'da batch 1, standart vLLM'deki 488'e karşı 842 token/s'ye ulaşıyor. Uzun context'te decode context parallelism KV cache'i GPU'lara bölüyor.

Kaynaklar: vLLM · GitHub

Intel, Crescent Island GPU'sunu D-Series olarak adlandırdı: 480 GB'a kadar LPDDR5X

Tue, 13 Oct 2026 17:14:17 GMT

Intel, Crescent Island kod adlı GPU'sunu D-Series olarak adlandırdı. D270'te 32 Xe3P çekirdeği, 256 XMX motoru ve 32 MB L2 cache bulunuyor. Kart 1,3 PFLOPS FP8 performans sunuyor, FP4'ten FP64'e formatları destekliyor ve 350 W, hava soğutmalı, PCIe Gen5 x16 tasarımda. Intel'in kendi sürümünde 160 GB LPDDR5X var, ODM tasarımları 480 GB'a çıkıyor. Bant genişliği 1,5 TB/s.

Bu kapasite, büyük ağırlıkları ve uzun context KV cache'ini tek kartta tutmaya yetebilir. Ancak decode bant genişliğine bağlı olduğundan 1,5 TB/s hızı sınırlar. Fiyat henüz açıklanmadı.

Kaynaklar: Reddit r/LocalLLaMA

vLLM çift yönlü KV aktarımı ekledi, çok turlu TTFT 3,3 kata kadar düştü

Tue, 13 Oct 2026 17:13:50 GMT

vLLM'in prefill-decode ayrıştırmalı serving'inde decode node'u artık KV cache'i prefill node'una geri gönderebiliyor. Böylece agent konuşmalarının sonraki turlarında önceki context yeniden hesaplanmıyor. Prefill'de prefix caching kapalı 1P1D EC2 P5en kurulumunda, uzun prompt'larda TTFT Qwen3-32B için 1,6 kata, GLM-5-FP8 için 3,3 kata kadar düştü.

Bedeli decode VRAM'i ödüyor. Biten isteklerin KV blokları decoder_kv_blocks_ttl süresince (varsayılan 480 sn) tutuluyor, yani boştaki oturumlar süre dolana kadar bellek kaplıyor.

Kaynaklar: vLLM · vLLM · GitHub

Ollama v0.40.0, Apple Silicon'da MLX'i varsayılan runtime yapıyor

Sun, 11 Oct 2026 15:11:00 GMT

Ollama v0.40.0 ile Apple Silicon'da varsayılan runtime artık MLX. MLX'in desteklediği model mimarileri otomatik olarak MLX üzerinde çalışıyor. Listede qwen3.8, gemma4, qwen3.6, qwen3.5 ve embedding modeli embeddinggemma-2 yer alıyor. Test edildikçe yeni modeller eklenecek.

Mac'lerde inference backend'i herhangi bir ayar gerekmeden değişiyor. Sürüm notları hız ya da bellek rakamı vermiyor, bu yüzden throughput ve bellek kullanımını kendi donanımınızda yeniden ölçün.

Kaynaklar: GitHub

Mistral Large 4 önizlemesi: 1T parametreli, 49B aktif MoE; açık ağırlıklar ay sonunda

Sat, 10 Oct 2026 09:41:50 GMT

Mistral, Mistral Large 4'ün önizleme sürümünü API üzerinden sundu: toplam 1T, aktif 49B parametreli bir MoE model; 3.800 NVIDIA Grace Blackwell GPU üzerinde eğitildi. Açık ağırlıkların bu ayın sonunda yayımlanacağı söyleniyor. Artificial Analysis'te 38 puan alıyor; Mistral Large 3'ün puanı 9'du.

Kendi donanımında çalıştıracaklar için: token başına hesaplama 49B aktif parametreye göre ölçekleniyor, ama 1T ağırlığın tamamı bellekte durmalı; donanım alt sınırını compute değil VRAM belirliyor. Model config'i henüz açık olmadığından bellek tahmini yok.

Kaynaklar: Mistral AI · Simon Willison's Weblog