Arama butonu
Bu konudaki kullanıcılar: 1 misafir
0
Cevap
264
Tıklama
1
Öne Çıkarma
Işıkla çalışan ilk yapay zeka sunucusu tanıtıldı: Enerji tüketimini %90 azaltıyor!
D
9 sa. (4087 mesaj)
Yarbay
Konu Sahibi

Işıkla çalışan ilk yapay zeka sunucusu tanıtıldı: Enerji tüketimini %90 azaltıyor!
Oxford Üniversitesi merkezli bir girişim olan Lumai, milyar parametreli büyük dil modellerini gerçek zamanlı çalıştırabilen dünyanın ilk optik bilgisayar sistemini tanıttı. Iris Nova adı verilen bu sunucu, yapay zeka çıkarım hizmetlerini sunarken enerji tüketimini %90’a kadar azaltıyor.



Geleneksel sistemler hesaplama için silikona dayanıyor ve bu teknoloji uzun süredir verimlilik sınırlarına yaklaşmış durumda. Her yeni nesil işlemci daha yüksek performans sunsa da, bu artış ciddi ölçüde daha fazla enerji tüketimiyle geliyor.



Yapay zeka çağını desteklemek için kurulan veri merkezlerinin enerji ihtiyacının hızla büyümesi bekleniyor. Tahminlere göre, şirketlerin artan yapay zeka talebini karşılamaya çalışmasıyla birlikte küresel elektrik tüketimi 2030'a kadar iki katına çıkabilir. Lumai ise optik tabanlı çözümü sayesinde bu gidişatın değişebileceğini savunuyor.



Elektron yerine foton



Silikon tabanlı sistemlerdeki verim düşüşüne karşı Lumai, odağını elektronlardan fotonlara kaydırmış durumda. Şirkete göre bu değişim, performansta katlanarak artış sağlarken enerji tüketimini ciddi şekilde azaltabiliyor.



Iris Nova, iki boyutlu çiplerin sınırlarını aşmak için ışığı kullanan bir sunucu. Sistem, matematiksel işlemler için optik tensor motorunu, kontrol süreçleri için ise dijital bileşenleri bir araya getiren hibrit bir mimariye sahip. Işığın üç boyutlu bir ortamda kullanılması sayesinde sistem, aynı anda milyonlarca işlemi paralel olarak gerçekleştirebiliyor. Bu yaklaşım, daha hızlı çıkarım süreçleri ve daha yüksek verimlilik sağlarken, önemli ölçüde enerji tasarrufu da getiriyor. Şirketin verilerine göre Lumai sunucuları, geleneksel sistemlerle aynı performansı sunarken %90’a kadar daha az enerji tüketiyor.



Ayrıca Bkz.Robotlarla veri merkezi inşa edecek şirket geliyor



Gerçek zamanlı LLM performansı



Lumai, sistemin gücünü göstermek için Llama 8B ve Llama 70B modellerini Iris Nova üzerinde gerçek zamanlı olarak çalıştırdı. Bu testler, çözümün mevcut veri merkezlerine kolayca entegre edilebileceğini ve mevcut iş akışlarına uyum sağlayabileceğini gösteriyor.



Şirket, Nova sunucusunu şu anda büyük teknoloji şirketleri, bulut sağlayıcıları, kurumsal firmalar ve araştırma kuruluşlarının testine açmış durumda. Ayrıca daha yüksek kapasite sunacak Aura ve Tetra adlı yeni sistemler de geliştirme aşamasında. Bu çözümlerin GPU tabanlı altyapılara kıyasla daha sürdürülebilir olması hedefleniyor.




Kaynak:https://lumai.ai/resources/lumai-launches-the-worlds-first-optical-computing-system-for-real-time-billion-parameter-llm-inference

DH forumlarında vakit geçirmekten keyif alıyor gibisin ancak giriş yapmadığını görüyoruz.

Üye olduğunda özel mesaj gönderebilir, beğendiğin konuları favorilerine ekleyip takibe alabilir ve daha önce gezdiğin konulara hızlıca erişebilirsin.

Üye Ol Şimdi Değil

 Haberi Portalda Gör

DH Mobil uygulaması ile devam edin. Mobil tarayıcınız ile mümkün olanların yanı sıra, birçok yeni ve faydalı özelliğe erişin. Gizle ve güncelleme çıkana kadar tekrar gösterme.