Arama butonu
Bu konudaki kullanıcılar: 1 misafir, 1 mobil kullanıcı
0
Cevap
463
Tıklama
0
Öne Çıkarma
Nvidia’ya meydan okuyan yeni nesil “bellek” odaklı AI sunucusu
M
6 gün (12386 mesaj)
Yarbay
Konu Sahibi

Nvidia’ya meydan okuyan yeni nesil “bellek” odaklı AI sunucusu
Yapay zeka modelleri milyon parametrelerden başlayıp trilyonlarca parametrelere ulaşırken sektör, genel olarak eğitimde ihtiyaç duyulan hesaplama gücüne odaklandı. Bu süreçte ise hesaplama gücünden çok belleğin belirleyici hale gelmesi göz ardı edildi. Bu kritik darboğazı aşmak isteyen eski Google ve Meta mühendisleri tarafından kurulan Majestic Labs AI, geliştirdiği yeni nesil sunucu mimarisiyle Nvidia’nın GPU merkezli yaklaşımına alternatif sunmayı hedefliyor.



Ofer Shacham, Masumi Reynders ve Sha Rabii tarafından kurulan şirket, geçtiğimiz aylarda aldığı 100 milyon dolarlık yatırımla dikkatleri çekmişti. Girişim, modern yapay zeka sistemlerinde sıkça dile getirilen ve “bellek duvarı” olarak adlandırılan soruna doğrudan çözüm üretmeye odaklanıyor.



Günümüzde yüksek performanslı işlemciler, verinin bellek ile işlem birimleri arasında taşınmasını beklerken çoğu zaman atıl kalıyor. Model boyutları büyüdükçe bu gecikmeler katlanarak artıyor ve donanım hızındaki gelişmelerin etkisini sınırlıyor. Majestic Labs kurucu ortağı Sha Rabii’ye göre, mevcut altyapı ile en yüksek kaliteli modeller ticari açıdan sürdürülebilir olmaktan giderek uzaklaşıyor.



Prometheus geliyor



Şirketin bu soruna yanıtı, tamamen yeni bir sunucu sistemi olan Prometheus oldu. Bu sistem, şirketin geliştirdiği ve “AIU” (Artificial Intelligence Unit) olarak adlandırdığı özel bir işlemci etrafında şekilleniyor. Ancak bu mimarinin en dikkat çekici yönü, işlem gücünden ziyade belleği merkeze alması.



Majestic Labs’e göre Prometheus, Nvidia’nın GPU tabanlı sistemlerine kıyasla 1.000 kata kadar daha fazla bellek kapasitesi sunabiliyor. Her bir sunucu, 128 terabayta kadar yüksek hızlı bellekle yapılandırılabiliyor. Bu kapasitenin 5 ila 10 trilyon parametreye sahip modellerin bölünmeden ve gecikme yaşamadan çalıştırılmasına olanak tanıdığı belirtiliyor.



DRAM bellek tercih ediliyor



Nvidia’ya meydan okuyan yeni nesil “bellek” odaklı AI sunucusu
Majestic Labs, sektörde yaygın olarak kullanılan yüksek bant genişlikli bellek (HBM) yerine daha erişilebilir olan standart DRAM kullanmayı tercih ediyor. HBM’in üretiminde kullanılan üç boyutlu yığın teknolojisinin karmaşıklığı ve tedarik kısıtları, bu kararda belirleyici olmuş durumda.



Şirket, DRAM kullanımını kendi geliştirdiği özel ara bağlantı (interconnect) teknolojisi ile destekliyor. Bu sistemin hem daha yüksek veri aktarım hızları sunduğu hem de daha düşük enerji tükettiği iddia ediliyor. Böylece hem performans hem de maliyet açısından avantaj sağlanması hedefleniyor.



Ayrıca Bkz.Tartışma yaratan çalışma: “Yapay zeka asla bilinçli olamaz”



Özellikle otonom görevler gerçekleştirebilen agentic AI sistemlerinin yükselişi, çıkarım (inference) tarafında büyük bir talep patlamasına yol açtı. Bu durum, gelişmiş çiplerin kiralama maliyetlerini artırırken bazı hizmetlerde yavaşlama ve kullanım sınırlamalarını da beraberinde getirdi.



Bu alanda yalnızca Majestic Labs değil, büyük teknoloji şirketleri ve iyi finanse edilen girişimler de yoğun rekabet içinde. AMD yeni nesil çiplerini çıkarım odaklı konumlandırırken Nvidia bu alandaki yatırımlarını hızlandırıyor ve Groq ile bağlantılı 20 milyar dolarlık anlaşma gibi hamlelerle dikkat çekiyor. Google Cloud ise eğitim ve çıkarım süreçlerini ayıran yeni TPU neslini tanıttı. Cerebras da AWS ile iş birliğini genişleterek pazardaki konumunu güçlendiriyor.



Majestic Labs kurucularına göre mevcut çözümler, yeterli bellek sağlamak için gereksiz yere fazla işlem gücü satın alınmasına neden oluyor. Şirket, henüz müşteri isimlerini açıklamasa da 2027 itibarıyla yüz milyonlarca dolarlık gelir getirecek anlaşmaların şimdiden yapıldığını belirtiyor.




Kaynak:https://www.techspot.com/news/112235-former-google-meta-engineers-build-memory-first-ai.html

DH forumlarında vakit geçirmekten keyif alıyor gibisin ancak giriş yapmadığını görüyoruz.

Üye olduğunda özel mesaj gönderebilir, beğendiğin konuları favorilerine ekleyip takibe alabilir ve daha önce gezdiğin konulara hızlıca erişebilirsin.

Üye Ol Şimdi Değil

 Haberi Portalda Gör

DH Mobil uygulaması ile devam edin. Mobil tarayıcınız ile mümkün olanların yanı sıra, birçok yeni ve faydalı özelliğe erişin. Gizle ve güncelleme çıkana kadar tekrar gösterme.