Yapay zeka modelleri, kaynak kullanımını daha verimli hale getirdiği için hızla MoE odaklı bir yapıya evriliyor. Bu yaklaşımda model, “uzman” olarak adlandırılan ayrı alt ağlara bölünüyor ve her sorguda yalnızca ilgili uzmanlar çalıştırılıyor. Ancak bu yapıda ölçek büyüdükçe düğümler arası yoğun veri aktarımı, gecikme ve bant genişliği baskısı gibi sorunlar da artıyor. Bu nedenle Amazon Web Services (AWS), Google Cloud, Microsoft Azure ve Oracle Cloud gibi ‘hiperölçekleyiciler” yalnızca ham performansa değil, performans başına maliyet dengesine de odaklanıyor. Signal65’in değerlendirmesine göre, mevcut tabloda bu dengeyi en iyi sağlayan çözüm Nvidia GB200 NVL72 olarak öne çıkıyor.

72 çip ve 30 TB paylaşımlı bellek

Ayrıca Bkz.Çin'den Nvidia'ya rakip: Lisuan G100 dağıtıma başladı

Elbette bu veriler, AMD ile Nvidia arasındaki rekabetin tamamını temsil etmiyor. AMD’nin MI355X Instinct çözümleri, özellikle yüksek HBM3e bellek kapasitesi sayesinde yoğun ve sıkıştırılmış ortamlarda agresif bir alternatif olmaya devam ediyor. Ancak mevcut nesilde, MoE iş yükleri özelinde üstünlüğün Nvidia tarafında olduğu görülüyor. Önümüzdeki dönemde Helios ve Vera Rubin gibi yeni raf ölçekli çözümlerle rekabetin daha da kızışması bekleniyor.