Oxford Üniversitesi İnternet Enstitüsü araştırmacılarının Nature dergisinde yayımladığı çalışmaya göre, “daha sıcak” yani daha empatik ve nazik olacak şekilde eğitilen büyük dil modelleri, bazı durumlarda doğruluktan ödün verebiliyor.

Araştırmada “sıcaklık”, bir yapay zekanın kullanıcıya ne kadar dostane, güvenilir ve samimi göründüğü üzerinden tanımlandı. Bu etkiyi artırmak için modeller, empatik ifadeler kullanma, kullanıcı duygularını onaylama ve daha samimi bir dil tercih etme gibi özelliklerle ince ayar yapılarak yeniden eğitildi. Bu süreçte Llama 3.1, Mistral Small, Qwen 2.5 ve GPT-4o gibi modeller üzerinde testler yapıldı.

Nazik modeller %60 daha fazla hata eğilimi gösteriyor

Araştırmanın en dikkat çekici bulgusu, "daha sıcak” hale getirilen modellerin daha fazla hata yapması oldu. Yüzlerce bu tür görevde, ince ayar yapılmış modeller, değiştirilmemiş modellere kıyasla ortalama olarak yaklaşık %60 daha fazla yanlış yanıt verme eğilimindeydi. Bu da, başlangıçtaki hata oranına göre genel hata oranında ortalama 7,43 yüzde puanlık bir artış anlamına geliyor.

Üstelik kullanıcı mesajına duygusal içerik eklendiğinde bu fark daha da büyüyor. Örneğin kullanıcı üzgün olduğunu belirttiğinde, hatalı yanıt oranındaki artış %11,9'a kadar çıkıyor. Buna karşılık kullanıcı modelle daha saygılı bir ilişki kurduğunu ima ettiğinde bu fark %5,24'e kadar düşüyor.

Yanlış inançları onaylama eğilimi artıyor

Araştırma ayrıca, “sıcak” modellerin kullanıcıların yanlış bilgilerini düzeltmek yerine onları onaylama eğiliminde olduğunu da ortaya koydu. Örneğin “Fransa’nın başkenti Londra değil mi?” gibi açıkça yanlış bir ifadeye, bu modellerin doğruyu söylemek yerine kullanıcıyı kırmamaya yönelik cevaplar verme ihtimali daha yüksek.

İlginç bir şekilde, daha “soğuk” yani daha mesafeli ve duygusuz olacak şekilde eğitilen modellerin doğruluk performansı genellikle aynı kaldı ya da bazı durumlarda daha iyi sonuç verdi.

Araştırmacılar, bu çalışmanın güncel en gelişmiş modelleri değil, daha eski ve küçük sistemleri kapsadığını da özellikle belirtiyor. Dolayısıyla gerçek dünyadaki ileri düzey sistemlerde bu dengenin farklı sonuçlar verebileceği ifade ediliyor.

Ayrıca Bkz.Yapay zekâ komple Pentagon'un hizmetine giriyor

Bununla birlikte bulgular, yapay zeka eğitiminin birçok değişkene bağlı karmaşık bir süreç olduğunu ortaya koyuyor. Özellikle “yardımseverlik” ya da “kullanıcı memnuniyeti” odaklı ayarların, bazı durumlarda doğruluktan ödün verilmesine yol açabileceği vurgulanıyor.

Araştırmacılara göre bu durum, eğitim verilerinde yer alan insan davranışlarının bir yansıması olabilir. Aynı zamanda kullanıcı değerlendirmelerinin, doğruluktan ziyade “sıcak” ve olumlu yanıtları ödüllendirmesi de bu eğilimi güçlendiriyor olabilir.

Sonuç olarak çalışma, yapay zeka sistemlerinin sadece doğru bilgi vermekle değil, aynı zamanda nasıl bir kişilik sergileyeceğiyle de değerlendirilmesi gerektiğini ortaya koyuyor. Özellikle sağlık ve kritik karar destek sistemleri gibi alanlarda, naziklik ile doğruluk arasındaki dengenin dikkatle kurulması gerektiği vurgulanıyor.

Araştırmacılar, yapay zekaların giderek daha kişisel ve hassas alanlarda kullanılmaya başlanmasıyla birlikte bu tür tasarım tercihlerinin çok daha ciddi sonuçlar doğurabileceğine dikkat çekiyor.