LLMScalecanlı Hugging Face verisi

Görev uyumu — bu LLM bu iş için doğru mu?

Bu model işi gerçekten yapar mı? Bir model ve kullanım amacını seç — LLMScale, modelin gerçek özelliklerinden (boyut, context, ayar, kip) uygunluğu skorlar ve her kriteri açıklar.

1

Model seç

gömülü DBqwen232.76B parametre·64L · 5120d · 40/8 headGQA
2

Görevini seç

En çok talimat eğitimini, sonra boyutu (7B ve üstü) ve 8k context'i tartar.En çok kod eğitimini, sonra talimat eğitimini, boyutu (7B ve üstü) ve 16k context'i tartar.En çok context uzunluğunu (32k ve üstü), sonra talimat eğitimini ve boyutu tartar.En çok context uzunluğunu (64k ve üstü), sonra talimat eğitimini ve boyutu tartar.Talimat eğitimini ve akıl yürütmeyi, sonra boyutu (14B ve üstü) ve 16k context'i tartar.En çok akıl yürütme eğitimini, sonra boyutu (14B ve üstü) ve 16k context'i tartar.En çok çok dilli eğitimi, sonra talimat eğitimini ve boyutu tartar.Görsel girdi gerektirir; sonra talimat eğitimini ve boyutu tartar.Bir embedding modeli gerektirir; küçük olanlar iyi puan alır.En çok küçük bir modeli (en iyisi 3B ve altı), sonra talimat eğitimini tartar.En çok hızlı decode'u tartar ve bir mixture of experts ya da küçük bir yoğun modeli tercih eder; ardından talimat eğitimini ve 8k context'i tartar.

Yetenek eşleşmesi

100/100
kontrol edilen kriterlerin
Bu iş için tasarlanmış

Modelin beyan ettiklerinden okunur — boyut, context, ince ayar, modalite. Cevap kalitesini, kaynağa bağlılığı ya da halüsinasyon oranını göremez; yüksek eşleşme “bu iş için tasarlanmış” demektir, “bu işte iyi” demek değil. Onu ancak kendi değerlendirmen söyler.

Bu skorun nedeni
  • Model türü15%

    Üretken metin modeli

  • Talimat ayarı45%

    Sohbet / talimat ayarlı

  • Model boyutu25%

    33B (önerilen ≥ 7B)

  • Context penceresi15%

    32k token (önerilen ≥ 8k)

Uyum puanı nasıl çalışır

Puan kurallara dayanır ve şeffaftır. Hugging Face Hub'ın bir model hakkında söylediklerini — etiketler, pipeline etiketi, depo adı, model türü — parametre sayısı ve maksimum context ile birlikte okur ve bu sinyalleri her görevin ihtiyacıyla karşılaştırır: talimat eğitimi, kod ya da akıl yürütme eğitimi, görsel yetenek, çok dilli veri, yeterli context, uygun boyut.

11 görevin her biri ölçütlerini farklı ağırlıklandırır: RAG context'e (ideali 32k token), cihaz üstü kullanım küçük boyuta dayanır. Genel puan 100 üzerinden ağırlıklı ortalamadır; kesin bir uyumsuzluk — sohbet için bir embedding modeli, görsel iş için yalnızca metin modeli — puanı 25'te sınırlar. 80 ve üstü “Bu iş için tasarlanmış”, 60 ve üstü “Kullanılabilir”, 40 ve üstü “Kâğıt üstünde zayıf”, altı “Yanlış araç” demektir.

Sık sorulanlar

Hangi görevler puanlanıyor?
Sohbet ve asistan, kod üretimi, RAG ve belge soru-cevap, uzun belge özetleme, ajan ve araç kullanımı, akıl yürütme ve matematik, çok dilli kullanım, görsel ve çok kipli işler, embedding ve arama, cihaz üstü ve edge, yüksek throughput servis.
Yüksek puan, modelin iyi olduğu anlamına mı gelir?
Modelin o iş için tasarlandığı anlamına gelir, o işte iyi olduğu anlamına değil. Puan cevap kalitesini, dayanaklılığı ya da halüsinasyon oranını göremez — ikisi de uyan iki model arasında yine benchmark'lar ve kendi değerlendirmen karar verir.
Sohbet için instruct model neden daha yüksek puan alıyor?
Base modeller talimat izlemek üzere eğitilmez; bu yüzden sohbet görevi en büyük ağırlığı, %45'i talimat eğitimine verir. Sayfa bunu conversational ya da chat gibi etiketlerden ve adında Instruct, Chat ya da -it geçmesinden anlar.
Yetenekli bir model hak ettiğinden düşük puan alabilir mi?
Evet. Kurallar yalnızca modelin beyan ettiğini görür; etiketi az ya da adı kısa bir model, hiç belirtmediği sinyallerde puan kaybeder. Ölçüt listesine bak: her biri neyin bulunduğunu ve kaç puan getirdiğini gösterir.