SoftBank Orchestrator AMD Instinct GPU’ları bölümlendiriyor
Bu strateji AMD'nin GPU'larını yapay zekâ altyapısında oyun değiştirici yapabilir.
SoftBank, AMD Instinct GPU’ları için GPU bölümlendirme (GPU partitioning) kullanan kendi Orchestrator’ını devreye aldı. Son blog gönderisine göre Orchestrator donanım ve bellek havuzlarını AI iş yüklerine göre bölümlendiriyor.
SoftBank Orchestrator ne yapıyor?
SoftBank Orchestrator, AMD Instinct AI çiplerindeki hesaplama kaynaklarını iş yüklerinin gereksinimlerine göre esnek biçimde tahsis ediyor. Şirket, tek bir GPU’yu birden fazla mantıksal cihaza dönüştüren GPU bölümlendirme yeteneklerinden yararlanıyor. Bununla birlikte amaç, kaynakları optimal şekilde dağıtmak ve gecikme zirvelerini azaltmak.
In collaboration with AMD, SoftBank has developed an enhanced Orchestrator feature that leverages the GPU partitioning capabilities of AMD Instinct™ GPUs, which allow a single GPU to be used as multiple logical devices. This feature allows for the flexible and optimal allocation of GPU resources based on the requirements of the AI application, such as model size and concurrency.
– SoftBank
Teknik olarak nasıl çalışıyor?
Orchestrator, AMD’nin Instinct GPU’larındaki compute distribution (hesaplama dağılımı) mekanizmasına odaklanıyor ve iş yüklerini birden fazla GPU instance’ına ayırıyor. Bu instance’lar Accelerator Complex Die (XCD) üzerinde çalışıyor; yapı SPX modunda tek instance veya CPX modunda konfigürasyon başına sekize kadar instance olacak şekilde ayarlanabiliyor. Öte yandan Orchestrator, AMD’nin yüksek kapasiteli HBM bellek yeteneklerini her bir GPU instance’ı için ayrı HBM bölümlerine ayırıyor.
Öne çıkan teknik özellikler
- GPU bölümlendirme ile tek GPU’nun birden fazla mantıksal cihaza dönüştürülmesi (XCD tabanlı).
- SPX modu (tek instance) ve CPX modu (konfigürasyon başına 8 instance’a kadar) seçenekleri.
- Her instance için ayrı HBM bellek bölgeleri kullanımı.
- Donanım seviyesinde izolasyon sağlayarak öngörülemeyen gecikme zirvelerini azaltma hedefi.
Performans ve izolasyon açısından ne söylendi?
SoftBank, Orchestrator ile daha düşük seviyeli kontrol sağlamayı ve donanım seviyesinde katı izolasyon kurmayı hedeflediğini belirtti. Şirket henüz uygulamaya ilişkin performans rakamı paylaşmadı. Bununla birlikte SoftBank, “optimal resource allocation” ifadesine vurgu yapıyor ve SLM ile MLM iş yüklerinde etkinlikten söz ediyor.
Gelecek planları ve kapsam nedir?
SoftBank, benzer Orchestrator yaklaşımlarını diğer AI hızlandırıcılar için de keşfetmeyi planladığını açıkladı; ancak şu an uygulama AMD ile sınırlı. Öte yandan AMD’nin Instinct platformu ve GPU bölümlendirme yetenekleri, hyperscaler’ların ilgisini yeniden çekme potansiyeline sahip olabilir. Sonuç olarak şirketler bu tür yazılım-donanım entegrasyonlarıyla AI altyapısında daha fazla esneklik arıyor.
Sonuç olarak SoftBank’ın geliştirdiği Orchestrator, AMD Instinct GPU’larda kaynak tahsisini daha ince taneli ve izole şekilde yönetmeyi amaçlıyor. Okuyucuların görüşleri önemli; düşüncelerinizi ve sorularınızı yorumlarda paylaşın.
