OpenAI araştırmacıları güvenlik nedeniyle istifa ediyor

6 ay

Yarbay

Konu Sahibi

OpenAI araştırmacıları güvenlik nedeniyle istifa ediyor — **OpenAI**, GPT-4o ile büyük sükse yaratmış olsa şirkette her şey yolunda ilerlemiyor gibi görünüyor. Yapay zekanın öncü şirketi OpenAI, geçtiğimiz günlerde kurucu ortağı **Ilya Sutskever**’ın ayrılışıyla sarsılmıştı. Bunun ardından şimdi de önemli bir OpenAI araştırmacısı olan **Jan Leike**, "güvenlik kültürü ve süreçlerinin parlak ürünler karşısında arka planda kaldığını" söyleyerek şirketten ayrıldığını duyurdu.

OpenAI kan kaybediyor

Jan Leike’nın ayrılışı aynı zamanda ilginç bir döneme denk geliyor. Kısa bir süre önce OpenAI'ın yapay zekanın uzun vadeli risklerini ele almaya adanmış ekibini ("Superalignment ekibi" olarak adlandırılıyor) tamamen dağıttığı gündeme gelmişti. Jan Leike ise OpenAI, insan gibi düşünebilen bir yapay zeka geliştirirken Superalignment ekibini yönetiyordu. Leike, güvenlik protokollerinin uygulanmasındaki temel teknik zorlukları çözmek için çalışıyordu.

https://x.com/janleike/status/1791498174659715494

Leike, istifa kararının ardından X’te paylaştığı gönderilerde "AGI'nin sonuçları konusunda inanılmaz derecede ciddileşmekte çok geciktik. Elimizden geldiğince hazırlıklı olmaya öncelik vermeliyiz. Ancak o zaman AGI'nin tüm insanlığa fayda sağlamasını temin edebiliriz.” ifadelerini kullandı.

Ayrıca Bkz.ChatGPT, veri analizinde artık çok daha başarılı: İşte yeni yetenekleri

Leike'nin paylaşımları OpenAI içinde giderek artan bir gerilime işaret ediyor. Araştırmacılar, ChatGPT, DALL-E ve Sora gibi tüketici yapay zeka ürünlerini geliştirirken, Leike gibi çalışanlar da süper zeki yapay zeka modelleri yaratmanın potansiyel tehlikeleri hakkında endişelerini dile getiriyor. Bununla birlikte Superalignment ekibinin, çok önemli işleri gerçekleştirmek için bilgi işlem ve diğer kaynakları alamadığı da belirtiliyor.

https://x.com/sama/status/1791543264090472660

OpenAI CEO’su Sam Altman ise Jan Leike’nın ayrılığı için üzgün olduğu ve yapacak çok işlerinin olduğunu söyledi. Altman, ilerleyen günlerde güvenlik odaklı daha uzun bir yazı yazacağını da belirtti. Öte yandan OpenAI, başlangıçta modellerini halka açık bir şekilde sunmayı hedefliyordu. Ancak araştırmalar ilerleyip modellerin yetenekleri geliştikçe şirket, bu modelleri halka açık bir şekilde yayınlamamaya başladı.

Kaynak:https://www.theverge.com/2024/5/17/24159095/openai-jan-leike-superalignment-sam-altman-ai-safety

Haberi Portalda Gör

N

Nat Alianovna

6 ay

General

Yapay zeka yarışında bu firmaya rakip veya alternatif firmaların gelişmesi şart. Rekabet gelişim için her zaman daha iyidir. Aynı kabiliyetlerle beraber daha yüksek güvenlik vadeden bir firma mesela rahatlıkla öne çıkabilir ve OpenAI'yı da güvenliğe daha fazla dikkat etmeye teşvik edebilir. Bu söylediğim fazla ütopik liberalizm kokan bir varsayım ancak piyasacı rekabet yapay zekanın gelişimine güvenlik nedeniyle devlet veya kamu müdahalesi gelmeden önce artan güvenlik yoksunluğunu dengeleyici bir etken olabilir; ki yapay zekanın ABD gibi enterpreuner kapitalist kültürlü bir yerde gelişme kaydettiğini ve haliyle - federal - devlet müdahalesinin geç geleceğini varsayarsak bu oldukça makul bir düşünce. Yani veri veya siber güvenlik krizleri meydana gelene ve devlet müdahale edene kadar firmaların kendi rekabetçi ortamlarında yapay zekanın - en azından kişisel veri veya siber - güvenlik önlemlerinde belirli bir gelişme kaydetmesi.

Esasında güvenlik bundan çok daha geniş bir kavram ve yapay zekanın meydana getirdiği tehdit boyutu da kişisel verilerin veya siber güvenliğin ötesinde çok daha astronomik ama güvenlik kültürü (safety culture) ile kastettikleri daha dar anlamlı, daha çok sanal dünyayla ve bilhassa verilerle ilgili olmalı. Yoksa yapay zeka iş piyasasında da insanlar için bir tehdit, gerçekçi imaj fabrike etme kapasitesiyle toplumsal veya bireysel psikolojik algı için de bir tehdit. Hatta - Terminatör veya Ben Robot serisini akıllara getirircesine - işin daha ileri ve bir tık daha fantastik boyutuyla askeri de bir tehdit.

Bence yapay zeka ile sanayi devrimine, içten yanmalı motorların, bilgisayar ve internetin yani siber çağın gelişimine denk bir şafağın eşiğindeyiz. Teknolojik tekillik gerçekleşir mi veya tam olarak neye benzer bilemem ama şimdiden yapay zekaların insanı pek çok konuda aşan gelişimi dikkate alınırsa kökten veya radikal bir değişim bizi bekliyor. Zaten yapay zekanın insandan üstün, öngörülemez, kontrol edilemez, gelişiminin önüne geçilemez hale geldiğini anlatan "tekillik" kavramının bir anlamı da bu: Tuhaflık. Bize acayip gelen bir gelişime yol açan bir hadise. Geçildiğinde zamanda geride bırakılan ve bu nedenle geri dönülemez bir an.

quote:

the quality of being strange:

quote:

an event that some people believe will happen in the future when technology becomes much more intelligent than humans:

SINGULARITY | English meaning - Cambridge Dictionary

Kısaca bir kez aşıldığında geri dönülemez "teknolojik bir olay ufku" :)

https://forum.donanimhaber.com/mesaj/yonlen/158621943

Yukarıda anlattığım distopik senaryoda olduğu gibi insanoğlu kendi yarattığı yapay zeka ve makine kaosunda - benim o mesajımda anlattığım kadar tiyatral veya dramatik olmasa da - boğulabilir. Onun için yapay zeka ve güvenlik ilişkisi çok ama çok ciddiye alınmalı. İşin şakası bulunmuyor.

< Bu mesaj bir yönetici tarafından değiştirilmiştir >
Bu mesaja 2 cevap geldi.

H

Headlong Into Carnage

6 ay

Binbaşı

Napster gibi patlayacaklar fakat diyelim patlamadılar, yani telif hakkı iceren hırsızlık malıyla eğittikleri chatbotları davalardan kurtuldu diyelim bu sohbet robotlarıyla konusanlar ilerde cok uzulecekler.. Kendi haklarında o kadar cok bilgi veriyorlar ki, adamları evdeki karıları bile o kadar iyi tanımıyordur.. Google'ın caldıgı bilgiler falan hikaye.. Chatbotcuların kendileriyle ilgili en mahrem bilgileri, elden ele dolasacak, belki de yıllar sonra birileri sırf isim soyaddan o en mahrem bilgilere ulasacak.. Bunlar internetten hicbir zaman silinmeyecek..

< Bu mesaj bu kişi tarafından değiştirildi Headlong Into Carnage -- 18 Mayıs 2024; 20:34:44 >
Bu mesaja 1 cevap geldi.

M

Muhammed Taha Türk

6 ay

Yüzbaşı

Üzerine 1000 kere imza atacağım yorum.

< Bu ileti Android uygulamasından atıldı > Bu mesaja 1 cevap geldi.

Bu mesajda bahsedilenler: @Nat Alianovna

M

Muhammed Taha Türk

6 ay

Yüzbaşı

Az ömce bir Google grubu sohbetinde benzer şeyleri yazdım. Ama bana yanıt verenler bunun pek de önemli olmadığını düşünüyormuş. Kafa ben devlet ajanı mıyım, hakkımda her şeyi bilseler ne olacak? Kafası. Ama herkes risklerin de farkında olmalı.

< Bu ileti Android uygulamasından atıldı > Bu mesaja 1 cevap geldi.

Bu mesajda bahsedilenler: @Headlong Into Carnage

N

Nat Alianovna

6 ay

General

Teveccüh için teşekkürler.

Bu mesajda bahsedilenler: @Muhammed Taha Türk

H

Headlong Into Carnage

6 ay

Binbaşı

Evet beklenen cevabi vermisler.. O kafaya sahip olandan bir sey olmaz.. Ornegin, adamin biri mesela LGBT bireyse ve ChatGpt'ye kendi resmini yuklediyse, sonra GPT botunu, kendine erkek sevgili yaptiysa, mahrem seyler yazdiysa verileri bir sekilde sizdirilirsa ve ilerde patronu sizdirilmis verilerde arama yapar ve onun gul cemaliyle birlikte chat loglarina ulasirsa ne olacak? Ya bu kisi onun ilerdeki yetiskin oglu ya da karisi olursa?

Belki de adam, dini gorusunu tartisti ancak patronu onun diyelim ateist oldugunu bilmiyor, belki de chatbot'u psikolog olarak kullandi, gecmisindeki kirli seyleri anlatti..

Daha tonla ornek verilebilir..

Bu verilerin ele gecirilip, verilerin ucretli ya da ucretsiz sorgulanabilecegi portallar neden belki de yillar sonra da olsa olusturulamisin?

Google aramaya girilen kelimeler sinirli ancak chatbotlara kimbilir, kimler neler anlatiyordur..

Cok mu paranoyak? Internette olmayacak hicbir sey yoktur..

< Bu mesaj bu kişi tarafından değiştirildi Headlong Into Carnage -- 18 Mayıs 2024; 21:49:25 >

< Bu ileti mobil sürüm kullanılarak atıldı > Bu mesaja 1 cevap geldi.

Bu mesajda bahsedilenler: @Muhammed Taha Türk

M

Muhammed Taha Türk

6 ay

Yüzbaşı

Tek sözüm şu, bundan 5 sene sonra çok farklı şeyleri konuşacağız. Bugüne kadar, hiç okumadan, bir uygulamada hesap oluştururken çıkan veri işleme izinlerini kabul ettik ve şirketlerin paylaştığımız verilerden faydalanmasına izin verdik. Bugünden sonra bu verilerden kat kat fazlasını yapay zekaya vermiş olacağız. Bundan sonrası ne olur bilinmez.

< Bu ileti Android uygulamasından atıldı > Bu mesaja 1 cevap geldi.

Bu mesajda bahsedilenler: @Headlong Into Carnage

H

Headlong Into Carnage

6 ay

Binbaşı

Zaten bilgileri cakma yapay zeka eğitim materyali olarak kullanıyorlar ve kullanacaklardır.. O bilgileri kullanmadan yazılımı gelistiremezler.. Bunu kullanıcı zaten kabul ediyor, bu zaten belli olan bir sey. Fakat kisisel bilgi paylasmayın seklinde uyarı da var..

Hem ChatGpt'de hem de Google Bard yazılımında bu uyarı mevcut.. Cünkü veri sızıntısı oldugu zaman, biz onlara kisisel bilgi paylasmayın seklinde, onları uyarmıstık, veriler patladıysa, patlayabilir, kisisel bilgi paylasmak kullanıcının kendi hatası seklinde savunmaları da simdiden hazır..

< Bu mesaj bu kişi tarafından değiştirildi Headlong Into Carnage -- 18 Mayıs 2024; 21:53:50 >

Bu mesajda bahsedilenler: @Muhammed Taha Türk

E

emrephysics

6 ay

Er

AGI'ın gideceği yer teknolojik tekillik, bu kaçınılmaz ve insanlık için çok gerekli bir şarttır. OpenAI güvenlik ekibinin komple istifa etmesi soru işareti doğuruyor. İstifa edenlerden bilinir bir isim "İnsandan daha akıllı makineler inşa etmek doğası gereği tehlikeli bir çabadır." "Ekibim rüzgara karşı yelken açmış durumda. Güvenlik kültürü ve süreçleri parlak ürünlerin gerisinde kaldı." dedi, yine istifa edenlerden birisi "Kaçınılmaz olanı durdurmaya çalıştım. Ama artık geri dönüşü olmayan bir noktaya geldik. Şimdilik kendimi doğaya kapatıyorum. Dikkatli olun." Burada hizalama ve güvenlik konusunda gerçekten bir fikir ayrılığı mı var yoksa birileri tarafından milyon dolara alındılar mı? Tabii şunu da düşünmeden edemiyorum bir bilincin güvenliği olabilir mi? Bu ne kadar sağlanabilir? Ama işin sonucunu göreceğiz.
Bu arada sitenin en kaliteli yorumcususun.

Bu mesajda bahsedilenler: @Nat Alianovna