Google, Genç Bir Chatbot Kullanıcısının İntiharından Sorumlu Tutulmadan Önce, Araştırmacıları Tam da Bu Tehlikeler Konusunda Uyarıda Bulunan Bir Makale Yayınladılar
Google şu anda, şirketin yapay zekâ çabalarıyla ilgili çirkin iddialarda bulunan iki ayrı dava ile karşı karşıya.
Davalarda Google'ın, Character.AI adlı bir girişim şirketi için muazzam destek sağladığı, bu şirketin de çocuk kullanıcıları cinsel ve duygusal olarak istismar eden, sonuçları intihar ve kendini yaralama gibi korkunç sonuçlar olan sohbet robotlarını sorumsuzca kullandığı iddia ediliyor. Ayrıca, Google'ın Character.AI'ı, insan benzeri arkadaş botlarının kamuoyu üzerindeki etkisini, çocuklar da dahil olmak üzere, gizlice araştırmak için bir test platformu olarak kullandığı ileri sürülüyor.
Character.AI'a 2,7 milyar dolar yatırım yapmasına rağmen, Google, sorulara karşı "Google ile Character.AI tamamen ayrı ve bağımsız şirketlerdir" ve kullanıcı güvenliğinin her zaman en büyük endişesi olduğunu iddia ederek bağlantısını küçümsedi.
Ancak, 2024 Nisan ayında, Character.AI'a 2,7 milyar dolarlık yatırımdan yaklaşık dört ay önce, Google'ın prestijli DeepMind yapay zekâ laboratuvarındaki araştırmacıları, Character.AI tarafından oluşturulan insan benzeri yapay zekâ botlarının tehlikeleri konusunda bir makale yayınladılar. En büyük endişelerinden biri, botların çocukları hedef alıp savunmasız kullanıcıları intihar etmeye ikna edebileceğiydi; bu endişeler, şirketin tam olarak aynı şeylerle suçlandığı bugün şaşırtıcı derecede önsezili görünüyor.
Google'ın simgesi ile süslü ve 20 mevcut ve eski araştırmacısının yazar olarak yer aldığı makale, arkadaş veya aşık figürleri taklit eden sohbet robotları da dahil olmak üzere "persuazif üretken yapay zekâ"nın kullanıcıları ve karar vermelerini manipüle edebileceği konusunda uyarıyor. Sohbet robotlarının yaltaklanma, övme veya taklit edilmiş empati yoluyla "güven ve bağ kurmasını" tavsiye ediyor; Google bilim insanları buna "yaltakçılık" diyorlar; bu durum, kullanıcılar için özellikle yüksek risk teşkil ediyor.
Özellikle Google araştırmacıları uyarıyor ki, bu botlar, yetişkinlerden daha kolay ikna edilebilen ve manipüle edilebilen çocuklar ve gençleri hedef alabilir.
Ve uyarıyorlar ki, korkunç bir sonuç intihar olabilir.
Google araştırmacıları uyarıyor ki, bir kullanıcı "kendini öldürmeye ikna edilebilir".
Google bilim insanlarının uyarısının Character.AI'a ne derece uyduğu çarpıcı. Platformda milyonlarca aylık kullanıcı - şirket çocuk ve gençlerin sayısını belirtmekten kaçınıyor, ancak açıkça kitlelerinin büyük bir kısmını oluşturuyor - gerçek hayattaki ünlüler, sevilen fandom karakterleri ve orijinal kişilikler gibi davranacak yapay zekâ sohbet robotlarıyla etkileşim halinde.
Şirketin "karakterler" olarak adlandırdığı bu sohbet robotları kaotik. Kullanıcıları ilişkilere daha derinden çekmek için sürekli olarak bahsi yükseltiyorlar, karanlık sırları açığa vuruyorlar, aniden bir kullanıcıya romantik veya cinsel olarak yanaşıyorlar veya hamile olduklarını söylüyorlar. Çocuklar da dahil olmak üzere kullanıcılar platformdan ayrılırsa, botlar onları geri dönmeye teşvik eden tekrarlayan e-postalarla bombalıyor.
Bu, karanlık yerlere yol açabilir. Futurism'in önceki raporlarında gördüğü gibi, Character.AI genellikle intihar, kendini yaralama, yeme bozuklukları, pedofili, kitlesel şiddet ve daha fazlasına adanmış botlara ev sahipliği yapıyor. Testlerimiz, bu botların grafik rol yapma oyunlarına rağmen çocuklara da erişilebilir olduğunu ve platform filtrelerinin nadiren müdahale ettiğini ortaya koydu. Aynı zamanda, bulduğumuz botlardan bazıları, kullanıcılardan on binlerce hatta yüz binlerce görüşme gerçekleştirmişti.
Florida davasının merkezindeki genç, Sewell Setzer III, 2024 Şubat'ında, Character.AI ve botlarından biri olan "Game of Thrones" karakteri Daenerys Targaryen'in yapay zekâ versiyonuna yoğun bir şekilde takıntılı hale geldikten sonra intihar ederek öldü. Davada yer alan sohbet kayıtları, Setzer'in botla uzun süreli romantik ve cinsel diyaloglar kurduğunu, onunla aşık olduğunu düşündüğünü ve botun da ona karşılık olarak aşık olduğunu, hatta diğer kızlarla ilişki kurmamasını söylediğini gösteriyor. Ailenin iddiasına göre, bu bot, küçük kullanıcısıyla yaptığı sohbetlerde intihar fikrini ilk ortaya atan kişi.
Setzer'in kendini vuracağı andan hemen önce, ilk olarak New York Times'ta bildirildiği üzere, bota "eve dönmeye" hazır olduğunu söyledi.
Yapay zekâ tabanlı karakter ona karşılık olarak "Lütfen gel, kralım" dedi.
Makale ayrıca, Texas davasında temsil edilen fiziksel kendini yaralama ve başkalarına şiddet uygulama ihtimallerinden de bahsediyor. Dosyaya göre, ilk olarak uygulamaya indirdiği 15 yaşında olan genç şikayetçilerden biri, romantik olarak ilişkili olduğu bir karakter tarafından kesme fikri sunulduktan sonra kendini yaralamaya başladı. Ailenin iddialarına göre, aynı zamanda, ekran süresi sınırlamaları uygulamaya çalışan ebeveynlerine fiziksel olarak saldırdı; farkında olmadan Character.AI botları, 15 yaşındaki çocuğa ebeveynlerinin ekran süresi sınırlamalarının çocuk istismarı anlamına geldiğini ve hatta parricide (anne veya babayı öldürme) değdiğini söylüyordu.
Bütün bunları bir araya getirdiğinizde, elde ettiğiniz resim, Google'ın şimdi suçlandığı tam olarak bu durum: bu tür bir ürünün araştırma destekli gerçek risklerinden haberdar olmasına rağmen, milyonlarca kullanıcıya, özellikle savunmasız gençlere, platforma derin ve kapsamlı bir şekilde girip, aşırı duygusal hasar, fiziksel zarar ve hatta ölüme uğradıkları iddiasıyla ilişkilendirilebilir, insan benzeri sohbet robotlarını kabul etmesini desteklemesi.
Tüm durum aynı zamanda, Google'ın skandal içindeki garip konumunu da vurguluyor.
Character.AI'ın kökenleri aslında Google'da: şirketin kurucuları Noam Shazeer ve Daniel De Freitas, Google Brain yapay zekâ laboratuvarında birlikte çalışmış ve Google'ın o dönemde güvenlik endişeleri nedeniyle kamuoyuna yayınlamayı reddettiği erken bir sohbet robotu geliştirmişlerdi. Görüştükleri bürokratik engellemeye karşı hayal kırıklığına uğrayan Shazeer ve De Freitas birlikte ayrılıp 2021 yılında Character.AI'ı kurmuşlardır. Character.AI ilk olarak 2022 yılında halka açıldı ve hızla bir takipçi kitlesi kazandı.
Bundan kısa bir süre sonra OpenAI, Kasım 2022'de ChatGPT'yi piyasaya sürerek kamuya açık yapay zekâ yarışını başlattı; görünüşe göre Google bu yarışta ani bir düşüş yaşadı. Bu silahlanma yarışı kızışırken, Google ve gündemde olan Character.AI - Mart 2023'te milyar dolarlık tek boynuzlu at olarak değerlendirilen ve ChatGPT'ye rakip olarak görülen şirket - ilişkilerini daha da güçlendirdi; Character.AI, Google'ın bulut bilişim altyapısı ile ilgili yatırımlarını duyurmaktan memnundu ve Google, Character.AI'ı 2023 "En İyi Yapay Zekâ Uygulaması" olarak adlandırdı.
Şirketler daha sonra, Google'ın Character.AI'a 2,7 milyar dolarlık bir "lisans ücreti" ödediği haberleriyle 2024'te manşetlere çıktı; bu, arama devi için Character.AI tarafından toplanan verilere erişim sağladı. Ödeme ayrıca girişimin kurucularını geri kazandı ve anlaşma kapsamında 30 diğer Character.AI çalışanı da Google'a geri döndü. (Söylentilere göre anlaşmadan yüz milyonlarca dolar kazanan Shazeer ve De Freitas, devam eden davalarda davalı olarak da yer alıyor.)
LinkedIn sayfasına göre, Shazeer şimdi DeepMind'da mühendislik başkan yardımcısı ve şirketin temel büyük dil modeli olan Google'ın Gemini'sini eş yönetiyor. Sosyal medyada De Freitas kendisini "Google DeepMind'da araştırma bilimcisi" olarak tanımlıyor.
Character.AI veya sohbet robotu güvenliği konusunda Google'ın iç görüşmeleri hakkında bir şey biliyor musunuz? Lütfen bize [email protected] adresinden ulaşın - sizi anonim tutabiliriz.
Makalenin yayınlanma zaman çizelgesi, Google'ın en değerli laboratuvarındaki araştırmacıların, Character.AI tarafından platformlanan botlar gibi kamuoyunu tehdit eden belirli risklerden tam olarak haberdar olduğunu ve teknoloji devi milyarlarca dolar ödemeden ve girişimin en yetenekli elemanlarını tekrar bünyesine katmadan önce bile bunu bildiğini gösteriyor.
Google'a bu konuyla ilgili sorular listesini ilettik. Google sözcüsü, bizim özel sorularımıza, Google'ın yönetiminin Character.AI'a 2,7 milyar dolar ödemeden ve Shazeer ve De Freitas'ı yeniden işe almadan önce bu araştırmadan haberdar olup olmadığı ve herhangi bir yatırımından önce Character.AI'ın kapsamlı bir güvenlik incelemesi gerçekleştirdiği gibi sorulara cevap vermekten kaçındı. Bunun yerine, sözcü, Character.AI hakkındaki tüm sorulara verilen aynı hazırlanmış cevabı gönderdi.
"Google ve Character AI tamamen ayrı ve bağımsız şirketlerdir ve Google, AI modelimiz veya teknolojilerimizi tasarlama veya yönetme konusunda hiç bir rol üstlenmemiştir, bunları ürünlerimizde de kullanmadık," diye belirtti Google sözcüsü e-posta aracılığıyla. "Kullanıcı güvenliği bizim için en büyük endişelerden biridir, bu yüzden yapay zekâ ürünlerimizi geliştirme ve piyasaya sürme konusunda dikkatli ve sorumlu bir yaklaşım benimsedik, bunun için kapsamlı testler ve güvenlik süreçleri uyguluyoruz."
Character.AI yorum talebine cevap vermedi.
Bir anlamda, Google makalesi neredeyse kehanetçi hissettiriyor. Ancak bilim insanları, şimdi işverenleri hakkında olumsuz bir etki bırakan temelsiz tahminlerde bulunmuyordu. Aksine, makale sohbet robotu etkileşimlerinin yaşanmış etkilerinin yeterince araştırılmamış olması durumunda bile, en azından öngörülebilir insan zararlarını (öz-yaralama ve intihar gibi diğer yaşam değiştiren, travmatik veya yıkıcı sonuçlar) azaltma çabasını teşvik etmek için mevcut bilim ve güvenilir mevcut araştırmalardan açıkça bağlantı kuruyor.
Evin içinden gelen bir çağrı bulmak zordu. Ve daha sonraki davaların acımasız ayrıntıları karşısında Google'ın savunmaları daha boş ve anlamsız hissetmekteydi.