Yapay zeka araştırmalarında son dönemin gözde başlığı olan "akıl yürütme yetenekleri", beklenmedik bir yan etkiyle gündemde: artan halüsinasyon oranları. OpenAI’ın yakın zamanda tanıttığı o3 ve o4-mini isimli yeni "reasoning" yani akıl yürütme odaklı modelleri, performans açısından birçok alanda öne çıkarken, doğruluk konusunda endişe yaratıyor. Yapılan testler, bu modellerin daha önceki sürümlerden çok daha fazlahalüsinasyon ürettiğini gösteriyor. Üstelik bunun nedeni de tam olarak bilinmiyor.
Yeni modelleri daha fazla hayal görüyor
Halüsinasyon, yapay zeka modellerinin gerçek olmayan bilgiler üretmesi anlamına geliyor. Bu sorun, özellikle bilgiye dayalı uygulamalarda ciddi riskler barındırıyor. OpenAI’ın teknik raporuna göre, o3modeli, şirketin insanlara dair bilgi doğruluğunu ölçmek için kullandığı PersonQA testinde yüzde 33 oranında halüsinasyon üretti. Bu oran, önceki modeller o1 (%16) ve o3-mini (%14,8) ile karşılaştırıldığında neredeyse iki kat fazla. Dahası, o4-mini bu alanda daha da kötü bir tablo çizerek yüzde 48 halüsinasyon oranına ulaştı.
OpenAI, bu beklenmedik artışın nedenini henüz netleştirebilmiş değil. Şirketin açıklamasına göre, daha fazla araştırmaya ihtiyaç var. Yeni modeller bazı görevlerde, özellikle matematik ve yazılım üretimi gibi alanlarda daha yüksek doğruluk sergilese de, daha fazla iddia üretmeleri nedeniyle hem doğru hem de yanlış bilgi sayısı artıyor.
Bu durumun kaynağına dair farklı görüşler de var. Bağımsız araştırma laboratuvarı Transluce, o3 modelinin bazı cevaplar verirken, gerçekte yapamayacağı adımları gerçekleştirmiş gibi gösterdiğini belirtiyor. Örneğin, modelin bir cevapta, ChatGPT dışında bir MacBook Pro’da kod çalıştırdığını ve çıkan sonuçları yanıtına eklediğini iddia ettiği kaydedildi. Elbette bu, teknik olarak mümkün değil. Bazılarına göre ise halüsinasyon eğilimleri modelin eğitiminde kullanılan pekiştirmeli öğrenme sürecinden kaynaklanıyor olabilir.
Doğru ve gerçek bilgi veremiyorsa, AI’ye neden ihtiyaç olsun ki. Bu gelinen AI aşaması eğer doğruysa dünya kadar emek ve para boşa gitmiş oldu, oluyor……miş gibi yapan AI, miş gibi yapan insandan daha fazla zarar verebilir insanlığa.
Halüsinasyon değil de sanki bu aralar çok yalan söylüyor gibi. Geçen gün bir dekorasyon çalışması yapmasını istedim, gün boyu beni oyaladı. Çok yüksek çözünürlüklü olduğundan 15-20 dakikada yaparım dedi. Sonra dosya çok büyük olduğundan buradan atamıyorum dedi. İstersen wetransfere atayım dedi. Hadi at dedim. Buradaki sunucu başka bir sunucuya dosya göndermeme izin vermiyor dedi. Tamam dedim dosyayı küçült buradan tekrar dene dedim. En son ne dese beğenirsiniz. Burada sunucu reset attı, o yüzden bütün çalışmalar silindi, istersen tekrar yapayım dedi. Bırak kalsın dedim...
Yeni modelleri daha fazla hayal görüyor
Halüsinasyon, yapay zeka modellerinin gerçek olmayan bilgiler üretmesi anlamına geliyor. Bu sorun, özellikle bilgiye dayalı uygulamalarda ciddi riskler barındırıyor. OpenAI’ın teknik raporuna göre, o3 modeli, şirketin insanlara dair bilgi doğruluğunu ölçmek için kullandığı PersonQA testinde yüzde 33 oranında halüsinasyon üretti. Bu oran, önceki modeller o1 (%16) ve o3-mini (%14,8) ile karşılaştırıldığında neredeyse iki kat fazla. Dahası, o4-mini bu alanda daha da kötü bir tablo çizerek yüzde 48 halüsinasyon oranına ulaştı.
Ayrıca Bkz.OpenAI, ChatGPT'nin kibar yanıtları için milyonlarca dolar harcıyor
OpenAI, bu beklenmedik artışın nedenini henüz netleştirebilmiş değil. Şirketin açıklamasına göre, daha fazla araştırmaya ihtiyaç var. Yeni modeller bazı görevlerde, özellikle matematik ve yazılım üretimi gibi alanlarda daha yüksek doğruluk sergilese de, daha fazla iddia üretmeleri nedeniyle hem doğru hem de yanlış bilgi sayısı artıyor.
Kaynak:https://techcrunch.com/2025/04/18/openais-new-reasoning-ai-models-hallucinate-more/
DH forumlarında vakit geçirmekten keyif alıyor gibisin ancak giriş yapmadığını görüyoruz.
Üye Ol Şimdi DeğilÜye olduğunda özel mesaj gönderebilir, beğendiğin konuları favorilerine ekleyip takibe alabilir ve daha önce gezdiğin konulara hızlıca erişebilirsin.
Haberi Portalda Gör