Ollama v0.40.0, Apple Silicon'da MLX'i varsayılan runtime yapıyor
Ollama v0.40.0 ile Apple Silicon'da varsayılan runtime artık MLX. MLX'in desteklediği model mimarileri otomatik olarak MLX üzerinde çalışıyor. Listede qwen3.8, gemma4, qwen3.6, qwen3.5 ve embedding modeli embeddinggemma-2 yer alıyor. Test edildikçe yeni modeller eklenecek.
Mac'lerde inference backend'i herhangi bir ayar gerekmeden değişiyor. Sürüm notları hız ya da bellek rakamı vermiyor, bu yüzden throughput ve bellek kullanımını kendi donanımınızda yeniden ölçün.
Mistral, Mistral Large 4'ün önizleme sürümünü API üzerinden sundu: toplam 1T, aktif 49B parametreli bir MoE model; 3.800 NVIDIA Grace Blackwell GPU üzerinde eğitildi. Açık ağırlıkların bu ayın sonunda yayımlanacağı söyleniyor. Artificial Analysis'te 38 puan alıyor; Mistral Large 3'ün puanı 9'du.
Kendi donanımında çalıştıracaklar için: token başına hesaplama 49B aktif parametreye göre ölçekleniyor, ama 1T ağırlığın tamamı bellekte durmalı; donanım alt sınırını compute değil VRAM belirliyor. Model config'i henüz açık olmadığından bellek tahmini yok.
inclusionAI, toplam 560B ve token başına 25B aktif parametreye sahip, 1M token context desteği belirtilen hybrid-linear MoE modeli Ling-3.1-flash'ı yayınladı. 72 katmanın 63'ü KDA, 9'u Gated MLA. Bu yüzden klasik KV cache tutan katman sayısı az.
LLMScale tahminleri, tek kullanıcı ve 8K context için: FP8'de 537,3 GiB (4× B200), INT4'te 287,8 GiB (512GB M3 Ultra'ya sığıyor). Model kartındaki SGLang tarifi 8× H200 ya da 4× GB300 kullanıyor. vLLM için ayrı bir branch gerekiyor.
#moe #kv-cache #long-context #sglang
Ling-3.1-flash · 572,12B parametre · 8k context, tek kullanıcı
FP16 KV cache ve her cihazda kendi varsayılanlarıyla vLLM'in ek yükü. “Sığdığı cihaz”: modeli tek başına taşıyan en küçük cihaz ya da en büyüğünden kaç tane gerektiği. Context, kullanıcı ya da GPU'yu hesaplayıcıda değiştir
Liquid AI, açık ağırlıklı LFM2.5-24B-A2B'yi yayımladı. Model 24B parametreli bir reasoning MoE; token başına yaklaşık 2B parametre aktif ve top-4 yönlendirmeli 64 expert içeriyor. Context 32.768'den 131.072 token'a çıktı. Mimari, gated kısa konvolüsyonları GQA ile birleştiriyor. Liquid, Apple M5 Max'te saniyede 184 token decode hızı bildiriyor.
FP16 KV cache ve her cihazda kendi varsayılanlarıyla vLLM'in ek yükü. “Sığdığı cihaz”: modeli tek başına taşıyan en küçük cihaz ya da en büyüğünden kaç tane gerektiği. Context, kullanıcı ya da GPU'yu hesaplayıcıda değiştir
NVIDIA, 120B parametreli ve token başına 12B parametre aktive eden açık multimodal MoE modeli Nemotron 3.5 Super VL'i yayımladı. Metin, görsel, doküman ve video tek modelde ele alınıyor. Checkpoint NVFP4: Blackwell'de 4 bit ağırlık ve aktivasyon, diğer GPU'larda 4 bit ağırlık ve 16 bit aktivasyon.
Token başına yalnızca 12B çalışsa da 120B ağırlığın tamamı belleğe sığmalı. NVIDIA, LiLiCorr speculative decoding ile DGX Spark'ta token üretiminin 2,3 kata kadar hızlandığını söylüyor.
vLLM, Meta'nın açık ağırlıklı MoE modeli Muse Spark Open'ı ilk günden destekliyor: toplam 816B, token başına 42B aktif parametre ve 1M token context. Ağırlıklar BF16 ve NVFP4 olarak, AMD'nin MXFP4 sürümüyle birlikte yayımlandı.
62 katmanın 46'sı 2048 token'lık sliding window kullandığından 1M token'da KV cache, tamamı full attention olan bir modelin dörtte birini biraz aşıyor. Örnek kurulum NVFP4'ü TP8 ve expert parallelism ile, speculative decoding için DSpark draft modeliyle sunuyor.
LLMScale