NVIDIA GB300 NVL72 LMSYS testlerinde GB200’e göre üstün çıktı

NVIDIA GB300 NVL72, LMSYS ekibi tarafından yakın zamanda DeepSeek’in en son açık kaynak modelleri üzerinde test edildi ve ince ayar ile optimize edilmiş inference (çıkarım) sayesinde elde edilen sonuçlar umut verici görünüyor. Testler, özellikle uzun-bağlam (long-context) çıkarım performansı ve gecikmeye duyarlı iş yüklerinde GB300’ün potansiyelini ortaya koydu.

GB300 NVL72 testleri ne gösterdi?

LMSYS ekibi, GB300 NVL72 üzerinde gerçekleştirdiği testlerde Blackwell Ultra mimarisinin gecikmeye duyarlı senaryolarda GB200 NVL72’ye karşı belirgin avantaj sağladığını tespit etti. Blackwell Ultra, bazı iş yüklerinde GB200’e kıyasla 1.4x ila 1.5x arasında ortalama bir üstünlük gösterdi. Bununla birlikte, gecikme ve throughput iyileşmeleri sektörün toplam sahip olma maliyeti (TCO) tartışmalarını da gündeme getiriyor.

Hangi optimizasyon teknikleri kullanıldı?

LMSYS ekibi, uzun-bağlam çıkarım için bir dizi altyapı ve yazılım optimizasyonu uygulatı. Özellikle PD (Prefill-Decode) Disaggregation, dynamic chunking ve KV capacity translation gibi yöntemler öne çıktı. Öte yandan, bu teknikler GPU VRAM üzerindeki baskıyı hafifletmek ve token bağlamını korumak amacıyla bir arada kullanıldı.

PD Disaggregation ve long-context yaklaşımı nasıl işliyor?

PD Disaggregation ile LMSYS ekibi, prefilling (prompt işleme) ile decode (token üretimi) aşamalarını farklı donanım düğümleri arasında böldü. Bu dağıtım, darboğazları azaltarak ölçeklendirmede throughput artışı sağladı. Sonuç olarak, büyük ölçekli token bağlamını korumada daha verimli bir sistem hedeflendi.

GB300 NVL72, GB200 NVL72 ile nasıl karşılaştırılıyor?

Performans karşılaştırmalarında LMSYS ekibi birkaç birincil ölçütü ön plana aldı: throughput, kapasite ve gecikme oranı. Aşağıdaki metrikler ekip tarafından özellikle vurgulandı:

• 1.53x Peak Throughput: 226.2 TPS/GPU (Tokens Per Second — Saniye Başına Token)
• 1.87x User Speed: TPS/User’da MTP (Multi-Token Prediction) aracılığıyla büyük bir sıçrama
• 1.58x Latency Win

Bununla birlikte, GB300’ün özellikle agentic AI (ajan temelli yapay zeka) iş yüklerinde avantaj sağladığı not edildi. Öte yandan, sektör içinde GB300 ile dağıtım maliyetlerinin artışı ve TCO hesaplarının henüz netleşmemesi bir belirsizlik unsuru olarak kalıyor.

GB300’ün sektöre etkisi ne olur?

NVIDIA’nın Blackwell Ultra odaklı yaklaşımı, yalnızca mimari gelişmeler değil, aynı zamanda gecikme ve throughput kısıtlarını ele aldığı için öne çıkıyor. Bu sebeple GB300, agentic ortamlarda hyperscalers ve neocloud sağlayıcıları için tercih sebebi olabilir. Sonuç olarak, performans artışı ile birlikte maliyet tartışmaları da sektörde belirleyici olacak.

Sonuç olarak, NVIDIA GB300 NVL72’nin long-context çıkarım performansındaki ilerlemeler önemli bir gelişme teşkil ediyor. Okuyucuların görüşlerini ve değerlendirmelerini yorumlarda bekliyoruz.