Qwen2.5 72B Instruct kaç GB VRAM ister?

Qwen2.5 72B Instruct, 80 katmanda 72,70B parametreye sahiptir. Grouped-query attention kullanır: 64 query head, 8 key-value head'i paylaşır; bu yüzden KV cache'i tam multi-head attention'a göre 8× küçüktür. En fazla 32.768 token context alır; bu uzunlukta tek bir kullanıcı, ağırlıkların üstüne FP16'da 10,00 GiB KV cache ister.

Hassasiyet ve context'e göre Qwen2.5 72B Instruct belleği

Tek kullanıcı, FP16 KV cache ve 70 GB altı bir kartın varsayılanlarıyla tek GPU'da vLLM'in ek yükü. Quantization ağırlıkları küçültür, KV cache'i değil; bu yüzden context büyüdükçe kazanç daralır.

Onu tek başına taşıyan GPU'lar

• BF16 (142,0 GiB): Apple M2 Ultra, B200 180GB, AMD MI300X, Apple M3 Ultra (256GB)
• FP8 (76,64 GiB): H100 NVL 94GB, GH200 96GB, RTX PRO 6000 Blackwell, RTX PRO 6000 Blackwell Server
• INT4 (45,99 GiB): Apple M4 Max (64GB), NVIDIA Jetson AGX Orin (64GB), AMD MI210, RTX PRO 5000 Blackwell (72GB)

8k context ve tek kullanıcı için, en küçük kartlar önce. Ayrık kartlarda vLLM'in varsayılanı olan bellek payı %92, unified bellekli cihazlarda GPU'nun kullanabildiği pay hesaba katılır; her cihaz kendi varsayılanlarıyla vLLM'in ek yükünü taşır.

Kaç kullanıcı sığar

Kullanıcı başına 8k context ile, tek kartta. ✗: ağırlıklar tek bir kullanıcıya bile yer bırakmıyor.

Qwen2.5 72B Instruct ince ayarı

Dizi uzunluğu 2.048, batch 1, gradient checkpointing açık, Adam. Tam ince ayar aktivasyonlardan önce parametre başına 16 byte tutar; QLoRA dondurulmuş temel modeli 4-bit NF4 olarak saklar.

Sayılar nereden geliyor

Ağırlıklar parametre × parametre başına byte olur. KV cache 2 × katman × key-value head × head boyutu × byte × context × kullanıcı olur. Qwen2.5 72B Instruct için bu, FP16'da token başına 320,0 KiB eder. Bunlar kapasite planlama sayılarıdır: servis motoru — vLLM, TGI, llama.cpp — ve paged-attention verimliliği gerçek değeri yine değiştirir.

Daha fazlası: KV cache boyutu ve GQA, MQA ve MLA.

Qwen2.5 72B Instruct ile çalış

• Kendi iş yüküne göre hesapla
• İnce ayar belleği
• vLLM parametreleri
• Model anatomisi
• config.json'u, açıklamalı
• Dosyaları servis hakkında ne diyor

Diğer Qwen modelleri

• Qwen2.5 0.5B Instruct
• Qwen2.5 Coder 7B
• Qwen2.5 7B Instruct
• Qwen3 8B
• Qwen2.5 14B Instruct
• Qwen3 30B A3B
• Qwen3 Coder 30B A3B
• Qwen2.5 32B Instruct
• Qwen3 32B