Hangi GPU'ya hangi LLM sığar

31 popüler açık LLM'den hangilerinin, insanların bu modelleri çalıştırdığı 18 GPU'ya sığdığı — tüketici ve iş istasyonu kartları, veri merkezi GPU'ları, Apple Silicon ve unified bellekli yapay zekâ PC'leri. Her sayfa tüm modelleri BF16, FP8 ve INT4 bellekleriyle, kaç kullanıcı sığdığıyla ve taşıyabileceği en uzun context ile listeler.

31 model içinden, 8k context ve tek kullanıcı için. Ayrık kartlarda vLLM'in varsayılanı olan bellek payı %92, unified bellekli cihazlarda GPU'nun kullanabildiği pay hesaba katılır; her cihaz kendi varsayılanlarıyla vLLM'in ek yükünü taşır.

• Herhangi bir GPU'da model hesapla
• Modele göre VRAM gereksinimleri
• LLM belleği nasıl çalışır