OpenAI, ChatGPT tarafından oluşturulan programlama kodunu inceleyen insan eğitmenlere yardımcı olmak için CriticGPT'yi geliştirdiklerini söylüyor. Firma, ChatGPT kodunu gözden geçirmek için CriticGPT'den yardım alan insanların, yardım almayanlardan %60 oranında daha iyi performans gösterdiklerini belirtiyor.

GPT-4'ün hataları GPT-4'e emanet

OpenAI aynı zamanda Force Sampling Beam Search (FSBS) adını verdikleri yeni bir teknik de geliştirdi. Bu yöntem en basit haliyle CriticGPT'nin daha ayrıntılı kod incelemeleri yazmasına yardımcı oluyor. Araştırmacılar FSBS ile CriticGPT'nin sorunları ararken ne kadar kapsamlı olacağını ayarlayabiliyor, aynı zamanda gerçekte var olmayan sorunları ne sıklıkla uydurabileceğini de kontrol edebiliyor.

İlginç bir bulgu da var

OpenAI, kod üzerindeki deneylere ek olarak, LLM eleştirmenlerinin genel yardımcı görevlerde nasıl performans gösterdiğini de araştırdı ve ilginç bir şekilde CriticGPT'nin yeteneklerinin kodun ötesine geçtiğini keşfetti. OpenAI, daha önce insanlar tarafından kusursuz olarak değerlendirilen ChatGPT eğitim verilerinin bir alt kümesinde CriticGPT'yi test etti. İlginç bir şekilde CriticGPT, buradaki vakaların yüzde 24’ünde hatalar buldu. OpenAI, bunun CriticGPT'nin kod dışı görevlere genelleme potansiyelini gösterdiğini ve dikkatli insan değerlendirmesinin bile gözden kaçırabileceği ince hataları yakalama yeteneğini vurguladığını düşünüyor.

CriticGPT mükemmel değil

En nihayetinde CriticGPT modeli de GPT-4 üzerinde inşa edilmiş bir yapay zeka. Bu nedende diğer tüm modeller gibi CriticGPT’nin de bazı sınırlamaları bulunuyor. Bu sınırlamaların başında modelin halen halüsinasyon görmesi geliyor. CriticGPT daha dar ve kaliteli bir veri kümesinde eğitilse de modellerin en doğal çalışma prensipleri nedeniyle daha az yapıyor olsa bile halüsinasyonlardan kurtulamıyor. Haliyle bunlar da insanların yanlış etiketlemeler yapmasına neden oluyor. Eğer bu konuda daha fazla bilgi almak istiyorsanız aşağıdaki içeriğimizi mutlaka okuyunuz: 

Ayrıca Bkz.Bakışınız değişecek: Yapay zekalar nasıl çalışıyor? Verilerimizi silebilir miyiz?

Bununla birlikte CriticGPT, oldukça kısa olan ChatGPT cevapları üzerinde eğitildi. Bu da uzun ve karmaşık görevleri değerlendirmede performansını düşürüyor. Ayrıca bazen hatalar tek bir yerde olmayabiliyor. CriticGPT, belirli bir yerde tespit edilebilen hataları belirlemede oldukça iyi olsa da gerçek dünyadaki hatalar bir cevabın birçok bölümünde olabiliyor. Ek olarak OpenAI, CriticGPT’nin bir yere kadar yardımcı olabileceğini söylüyor. Bir görev veya yanıt son derece karmaşıksa, model yardımı alan bir uzman bile bunu doğru bir şekilde değerlendiremeyebilir.