GPU özelliklerini yan yana karşılaştır
İki ila dört GPU'yu veri sayfalarındaki haliyle yan yana koy: mimari, bellek ve bant genişliği, tensor işlem gücü, güç ve nasıl bağlandıkları. Her rakam, üretici yayımlıyorsa üreticiden gelir.
RTX 5090 Tüketici · NVIDIA | H100 SXM 80GB Veri merkezi · NVIDIA | NVIDIA DGX Spark (GB10) Yapay zekâ PC (unified) · NVIDIA | |
|---|---|---|---|
| Yonga | |||
| MimariⓘMimari, çip ve üretim süreci. Tensor çekirdeklerinin hangi sayı biçimlerini doğal olarak çalıştırdığını mimari belirler — FP8 Hopper, Ada ve CDNA 3 ile, FP4 Blackwell ve CDNA 4 ile gelir. | Blackwell · GB202 · TSMC 4N | Hopper · GH100 · TSMC 4N | Blackwell · GB10 · TSMC 3 nm |
| ÇekirdekⓘÜreticinin saydığı şekliyle gölgelendirici çekirdekleri. Üreticiler farklı sayar; bu satır aynı üretici ve kuşağın kartlarını karşılaştırır, aralarını değil. | 21.760 CUDA çekirdeği | 16.896 CUDA çekirdeği | 6.144 CUDA çekirdeği |
| ÇıkışⓘÜreticinin cihazı duyurduğu ya da göndermeye başladığı tarih. | Oca 2025 | Mar 2022 | Eki 2025 |
| Bellek | |||
| BellekⓘÜreticinin belirttiği kart üstü bellek. Unified bellekli bir cihaz belleğini CPU ve GPU arasında paylaşır; GPU varsayılan olarak bunun yalnız bir kısmını kullanabilir. | 32 GB | 80 GB | 128 GB unifiedvarsayılan olarak 120 GB'ı GPU'ya |
| Bellek tipiⓘBellek teknolojisi ve arayüz genişliği. Bant genişliği bu ikisinin bellek saatiyle çarpımıdır: HBM geniş ve yavaş, GDDR dar ve hızlıdır; LPDDR CPU ile paylaşılır. | GDDR7 · 512 bit | HBM3 · 5.120 bit | LPDDR5X-8533 · 256 bit |
| Bellek bant genişliğiⓘGPU'nun kendi belleğini okuma hızı. Bir LLM her token'ı üretirken her ağırlığı bir kez okur; bu yüzden tek kullanıcının gördüğü hızı bu belirler. | 1.792 GB/sn | 3.350 GB/sn | 273 GB/sn |
| Tensor işlem gücüyoğun, seyreklik olmadan | |||
| BF16 tensorⓘÜreticinin veri sayfasından yoğun 16 bit tensor işlem gücü. Bir LLM için prompt'ların ne kadar hızlı okunduğunu ve büyük bir batch'in ne kadar ölçeklendiğini belirler. | 210 TFLOPS | 990 TFLOPS | 125 TFLOPS |
| FP8 tensorⓘYoğun FP8 tensor işlem gücü. FP8 tensor çekirdeği olmayan bir kart FP8 ağırlıklarla yine bellek kazanır, ama hesabı 16 bitte yapar. | 419 TFLOPS | 1.979 TFLOPS | 250 TFLOPS |
| FP4 tensorⓘYoğun FP4 tensor işlem gücü (Blackwell, CDNA 4). Motor 4 bit ağırlıkların hesabını 16 bitte sayar; ihtiyatlı okuma budur. | 1.676 TFLOPS | yok | 500 TFLOPS |
| Platform | |||
| GüçⓘÜreticinin belirttiği en yüksek kart, modül ya da paket gücü. Bir superchip'in ya da yonga üstü sistemin değeri CPU'sunu da kapsar; Apple ise yalnız tüm Mac'in prizden çektiği en yüksek gücü yayımlar. Bu yüzden ekran kartıyla bire bir karşılaştırılmaz. | 575 W | 700 W | 140 W · CPU dahil |
| Form faktörüⓘCihazın nasıl yapıldığı ve nereye takıldığı: PCIe kart, ana karta oturan SXM ya da OAM modülü, veya yonga üstü sistem. | PCIe 5.0 x16 | SXM5 | SoC |
| GPU'lar arası bağlantıⓘBu cihazlardan ikisinin birbiriyle nasıl konuştuğu; üreticilerin verdiği gibi iki yön toplamı. Tensor parallel her katmanda aktivasyon alışverişi yapar; model kartlara yayıldığında hızlı bağlantı önemlidir, yalnız PCIe ile daha zayıf ölçeklenir. Thunderbolt, USB4 ve Ethernet gigabit cinsindendir. | yok — yalnız PCIe | NVLink 4 · 900 GB/s | ConnectX-7 · 200 Gb/s |
| MIG bölümleriⓘMulti-Instance GPU: kartın, her biri kendi modelini servis edebilen kaç yalıtılmış bellek ve işlem dilimine bölünebildiği. | yok | en fazla 7 | yok |
| Servis motoruⓘBu cihazda modelleri ne servis eder. vLLM CUDA ve ROCm'da çalışır; Apple Silicon'ın vLLM arka ucu yoktur, bu yüzden llama.cpp ya da MLX. | vLLM · CUDA | vLLM · CUDA | vLLM · CUDA |
Üretici rakamlarıdır. Tensor işlem gücü yoğundur; yalnız seyrek değer yayımlanmışsa yarısı alınır. Hiçbir kaynağın netleştiremediği değer — olarak gösterilir. Unified bellekli bir cihaz belleğini CPU ile paylaşır. Apple yonga gücü yayımlamaz; bir Mac'in değeri bilgisayarın prizden çektiği güçtür. Bu kartlardan birinde model boyutlandırmak için hesaplayıcıyı kullan.
Karşılaştırma neyi gösterir
LLMScale'in bildiği 43 cihazdan ikisini ila dördünü seç: tüketici ve iş istasyonu kartları, veri merkezi GPU'ları, Apple Silicon ve unified bellekli yapay zekâ PC'leri. Her sütun o cihazın veri sayfasıdır: mimari, çip ve üretim süreci, çekirdekler ve çıkış tarihi; tipi, bus genişliği ve bant genişliğiyle bellek; BF16, FP8 ve FP4'te yoğun tensor işlem gücü; güç, form faktörü, iki cihaz arasındaki bağlantı, MIG bölümleri ve modelleri servis eden motor.
Her bilgi, üretici yayımlıyorsa üreticinin ürün sayfasından, veri sayfasından ya da teknik belgesinden, yayımlamıyorsa adı verilen ikincil bir kaynaktan gelir; hiçbir kaynağın netleştiremediği değer tahmin edilmez, boş bırakılır. Bellek, bant genişliği ve tensor satırlarında sütunlar farklıysa en iyi değer vurgulanır. Bir modelin bu kartlardan birinde ne istediğini görmek için VRAM hesaplayıcısını aç.
Sık sorulanlar
- Bir LLM çalıştırmak için bu rakamlardan hangisi en önemli?
- Neyin sığacağını bellek belirler: ağırlıklar ve her kullanıcının context'i için bir KV cache. Tek kullanıcının token'ları ne hızda gördüğünü bant genişliği belirler, çünkü her token her ağırlığı bir kez okur; 1.792 GB/sn'lik bir RTX 5090, BF16'da daha yüksek değerli olmasına rağmen 864 GB/sn'lik bir L40S'in yaklaşık iki katı hızla üretir. Prompt'ların ne kadar hızlı okunduğunu ve büyük bir batch'in ne kadar ölçeklendiğini tensor işlem gücü belirler.
- Bazı TFLOPS değerleri neden burada üreticinin sayfasındakinden düşük?
- NVIDIA tensor işlem gücünü çoğu zaman 2:4 yapılandırılmış seyreklikle yayımlar; bu değeri iki katına çıkarır ama yalnız bu desene göre budanmış ağırlıklarda geçerlidir — servis edilen LLM'lerin neredeyse hiçbiri öyle değildir. LLMScale yoğun değeri listeler; üretici yalnız seyrek değeri yayımlamışsa yarısını alır. GeForce kartlar FP32 biriktirme hızıyla listelenir; bu, FP16 biriktirme hızının yarısıdır.
- Unified bellek bir LLM için ne anlama gelir?
- CPU ve GPU tek bir belleği paylaşır; böylece küçük bir cihaz büyük bir modeli taşıyabilir — ama GPU varsayılan olarak bunun yalnız bir kısmını kullanır: 36 GB ve üstü Mac'te dörtte üçü, altındakilerde üçte ikisi, Windows'ta Strix Halo'da 128 GB'ın 96'sı, DGX Spark'ta neredeyse tamamı. Bant genişlikleri de bir ekran kartınınkinin bir kesridir; bu yüzden büyük modelleri taşırlar ama yavaş çalıştırırlar.