4chan üyeleri, Emma Watson, Joe Rogan ve diğer ünlü isimlerin ırkçı, transfobik ve şiddet içeren şeyler söyleyen sahte seslerini yapmak için ElevenLabs'i kullandı. Şirket kısa bir süre önce Twitter’dan açıklama yaparak “ses klonlamanın kötüye kullanılması vakalarının sayısında artış” yaşandığını ve ek güvenlik önlemleri uygulayarak sorunu çözmeye çalıştıklarını bildirdi.

Ünlülerin oluşturulmuş sahte sesleri ırkçı söylemlerde kullanıldı

https://twitter.com/elevenlabsio/status/1620032627075063811

Klipler zararsızdan şiddete, transfobikten homofobiye ve ırkçılığa kadar geniş bir yelpazede yer alıyor. Çok çeşitli klipleri içeren bir 4chan gönderisi, ElevenLabs'in beta sürümüne bir bağlantı da içeriyordu, bu da ElevenLabs'ın yazılımının sesleri oluşturmak için kullanılmış olabileceğini düşündürüyor. ElevenLabs, resmi web sitesinde hem “konuşma sentezi” hem de “ses klonlama” özellikleri sunuyor. Ses klonlama için ElevenLabs, bir dakikadan daha uzun olan temiz bir örnek kayıt ile ilgili sesin klonunu oluşturuyor.

İnternette gördüklerimize ve duyduklarımıza inanmak daha da zorlaşıyor

Belki de "deepfake" ses kliplerinin bu ortaya çıkışı sürpriz olmamalı, çünkü birkaç yıl önce benzer bir fenomenin gerçekleştiğini gördük. Yapay zeka ve makine öğrenimindeki gelişmeler ünlülerin sahte videolarının üretilmesinde kullanılmıştı.

Ayrıca Bkz.ChatGPT’yi tespit eden yapay zeka geliştirildi: DetectGPT

Sahte videolar, sahte sesler sahte mimikler derken internette gördüğümüz ve duyduğumuz şeyler giderek gerçeklikten uzaklaşıyor. Elbette bu teknolojiler bu amaçlar için geliştirilmiyor. Örneğin ElevenLabs resmi web sitesinde, sesli haber bültenleri, sesli kitap okuma ve video gibi hedef kullanım alanlarından bahsediyor. Geldiğimiz noktada ise akıllara Edgar Allan Poe’nun “Gördüklerinizin yalnızca yarısına inanın, duyduklarınızın hiçbirine.” söylemi geliyor.