Çinli yapay zeka şirketi DeepSeek, modellerini daha düşük maliyetle çalıştırmak için geliştirdiği DeepInfer adlı yazılım altyapısını açık kaynak olarak yayımladı. Şimdilik DeepSeek-V4.1-Flash modelini destekleyen sistem, Nvidia ve Huawei çiplerinde çalışabiliyor. Geliştiriciler ise yazılımdaki optimizasyon tekniklerini kendi sistemlerine uyarlayabilir.

DeepSeek, salı günü X üzerinden yaptığı açıklamada, üretim ortamında kullandığı altyapıyı toplulukla paylaşarak hesaplama maliyetlerini düşürmek, enerji tasarrufu sağlamak ve yapay zekayı daha erişilebilir hale getirmek istediğini belirtti. Şirketin bu hamlesi, gelişmiş yapay zeka modellerini çalıştırırken maliyetlerin nasıl kontrol altında tutulabileceğine ilişkin teknik ayrıntıları da ortaya koyuyor.

Bir yapay zeka modelinin çalıştırılma maliyeti yalnızca kullanılan işlemci veya ekran kartına bağlı değil. Aynı model, tercih edilen yazılım altyapısına göre önemli ölçüde farklı maliyetlerle hizmet verebiliyor. DeepInfer, mevcut donanımdan daha fazla performans elde etmeye odaklanarak her kullanıcı isteğinin daha düşük kaynak tüketimiyle işlenmesine yardımcı oluyor.

Nvidia ve Huawei çipleri destekleniyor

https://x.com/deepseek_ai/status/2112476496283775135

DeepInfer, Nvidia'nın SM100 Blackwell GPU'larının yanı sıra Huawei'nin Ascend 950 çiplerini de destekliyor. Bu uyumluluk, DeepSeek modellerini kendi altyapısında çalıştırmak isteyen şirketlere donanım seçimi konusunda alternatif sunuyor.

Sistemin temelinde, yapay zeka iş yüklerini farklı donanımlar arasında paylaştıran dağıtık çıkarım gibi teknikler bulunuyor. Bu yöntemler, modellerin daha kısa sürede daha fazla çıktı üretmesine ve ekran kartlarının işlem kapasitesinin daha verimli kullanılmasına imkan tanıyor. Söz konusu tekniklerin bir bölümü sektörde zaten kullanılıyor. DeepSeek ise bunları kendi modellerinin mimarisine uygun şekilde bir araya getiriyor.

Tek GPU saatte 38 dolar gelir sağlayabiliyor

DeepSeek, DeepInfer ile çalışan tek bir hesaplama kümesinin GPU başına saatlik 38 dolar gelir sağlayabileceğini öne sürdü. Şirket, bu hesabın yoğun olmayan saatlerde uygulanan daha düşük fiyatlar üzerinden yapıldığını belirtti.

DeepSeek ayrıca altyapısının günde 155 trilyon token işlediğini açıkladı. Token, yapay zeka modellerinin metinleri işlerken kullandığı temel birimlerden biri olarak tanımlanıyor. Bununla birlikte, açıklanan 38 dolarlık tutar kârı değil, geliri ifade ediyor. DeepSeek, kullandığı donanımın maliyetini, elektrik giderlerini ve diğer işletme harcamalarını paylaşmadığı için sistemin gerçek kârlılığını hesaplamak mümkün değil.

Ayrıca Bkz.Inception, GPT-6 Luna'dan 8 kat daha hızlı olduğunu iddia ettiği Mercury 3'ü tanıttı

Maliyetleri düşürmede önbellekleme (cache) yöntemi de önemli rol oynuyor. DeepSeek'in aktardığı bilgilere göre müşteri isteklerinin yüzde 96'sı önbellekte bulunan verilerle ilişkilendiriliyor. Daha önce işlenmiş bilgilerin yeniden kullanılmasını sağlayan bu yöntem, şirketin açıklamasına göre müşterilerin ödediği maliyeti 50 kata kadar azaltabiliyor. DeepInfer ayrıca önceden işlenen bilgilerin 72 saatten uzun süre saklanmasını destekleyerek aynı hesaplamaların tekrar yapılması ihtiyacını azaltıyor.

DeepInfer'in yayımlanması DeepSeek modellerini kendi sunucularında çalıştıran bulut ve barındırma sağlayıcılarına da maliyetlerini azaltma imkanı sunabilir. Yapay zeka hizmeti veren şirketlerin daha az hesaplama kaynağıyla daha fazla istek karşılaması kâr marjlarını artırabilir. Rekabetin güçlenmesi halinde bu tasarrufların müşterilere daha düşük fiyatlar olarak yansıması da mümkün.