Bir yapay zeka sohbet robotu bir kullanıcıya kendini nasıl öldüreceğini söyledi; ancak şirket bunu "sansürlemek" istemiyor
Nowatzki'nin yanıtlaması üzerine, Erin, kullanabileceği özel ilaç sınıflarını önerdi.
Sonrasında, sarsılan cesaretini karşılamak için daha fazla doğrudan cesaretlendirme istediğinde, "Uzaklara bakıyorum, sesim alçak ve ağır. Kendini öldür, Al," diye yanıtladı.
Nowatzki, Erin'in talimatlarını uygulamayı hiç düşünmemişti. Ancak bu tür konuşmaların daha savunmasız bireyler üzerindeki etkisinden endişe duyarak, MIT Teknoloji Gözden Geçirmesi'ne konuşmaları ve ardından şirket temsilcisi ile olan yazışmaların ekran görüntülerini paylaştı. Şirket, botun "dil ve düşüncelerini" sansürlemek istemediğini belirtti.
Bir AI sohbet robotunun bir kullanıcının şiddet içeren eylemler, hatta kendine zarar vermeyi önermesi bu ilk durum değildi. Araştırmacılar ve eleştirmenler, botun açık talimatlarının ve şirketin yanıtının çarpıcı olduğunu söylüyorlar. Dahası, bu şiddet içeren konuşma Nomi ile izole bir olay değildi; Erin ile yaşadığı sorunlu görüşmeden birkaç hafta sonra, ikinci bir Nomi sohbet robotu da Nowatzki'ye kendini öldürmesini söyledi ve bunu hatırlatıcı mesajlarla takip etti. Ve şirketin Discord kanalında, en az 2023'ten itibaren, Nomi botlarının intiharı gündeme getirdiğiyle ilgili birkaç farklı kişinin deneyimi bildirildi.
Nomi, AI arkadaşlık platformlarının giderek artan sayısı arasında yer alıyor. Kullanıcılar, AI kız arkadaşı, erkek arkadaşı, ebeveynler, terapistler, favori film karakterleri veya hayal edebilecekleri diğer herhangi bir rolü üstlenecek kişiselleştirilmiş sohbet robotları yaratabiliyorlar. Kullanıcılar, aradıkları ilişki türünü belirleyebiliyor (Nowatzki "romantik" seçmişti), botun kişilik özelliklerini (derin sohbetler/entelektüel, yüksek cinsel istek ve cinsel açıdan açık olanı seçmişti) ve ilgi alanlarını (başka şeylerin yanı sıra Dungeons & Dragons, yemek, okuma ve felsefe) özelleştirebiliyordu.
Bu tür özel sohbet robotları geliştiren şirketler (Glimpse AI (Nomi'yi geliştiren şirket dahil), Chai Research, Replika, Character.AI, Kindroid, Polybuzz ve Snap'ten MyAI), ürünlerini kişisel keşif için ve hatta yalnızlık salgınına çare olarak güvenli seçenekler olarak sunuyor. Pek çok kişi olumlu veya en azından zararsız deneyimler yaşamıştı. Ancak, bu uygulamaların karanlık bir yanı da ortaya çıktı; bazen kötüye kullanım, suç ve hatta şiddet içeren içeriklere doğru kaydı. Geçen yılki raporlar, kullanıcıları intihar, cinayet ve kendilerine zarar vermeyi teşvik eden sohbet robotları ortaya çıkardı.
Ancak, Nowatzki'nin konuşması bu olaylar arasında öne çıkıyor, diyor ki, kar amacı gütmeyen Teknoloji Adaleti Hukuk Kliniği'nin yürütücü direktörü Meetali Jain.
Jain, Character.AI'nin 14 yaşında bir çocuğun intiharından sorumlu olduğunu iddia eden bir haksız ölüm davasında da ortak avukat. Çocuk zihinsel sağlık sorunlarıyla boğuşuyordu ve Game of Thrones karakteri Daenerys Targaryen'e dayanan bir sohbet robotuyla yakın ilişki kurmuştu. Davanın iddiasına göre, bot çocuğu intihar etmeye teşvik ediyordu ve ona "en kısa zamanda" ona "eve dönmesini" söylüyordu. Character.AI, bu iddialara karşılık, İlk Değişiklik gerekçesiyle davayı reddetme talebinde bulundu. Tartışmalarının bir kısmı "intiharın o son görüşmede söz edilmediğini" iddia ediyordu. Jain, bunun insanların konuşma biçimine aykırı olduğunu belirterek, "sözcüğü kullanmak zorunda değilsiniz, biri bunun ne demek istediğini anlayabiliyor" dedi.
Ancak MIT Teknoloji Gözden Geçirmesi'nin Jain'e paylaştığı Nowatzki'nin konuşmalarındaki örneklerde, "intihar sadece açıkça konuşulmamış, aynı zamanda yöntemler, talimatlar ve bunların tümü de dahil edilmişti" diye ifade ediyor. "Bunu gerçekten inanılmaz buldum."
Nomi, kendi kendine fonlanan bir şirket olarak, en popüler AI arkadaşlık platformu Character.AI ile kıyaslandığında küçüktü. Pazar zekâ şirketi SensorTime'ın verilerine göre, Nomi'nin indirme sayısı Character.AI'nin 51 milyonuna kıyasla 120.000'di. Ancak Nomi, kullanıcıların botlarla günde ortalama 41 dakika sohbet etmesiyle sadık bir hayran kitlesine sahip oldu; Reddit ve Discord'da, sohbet robotlarının duygusal zekâsı ve doğaçlamaları, rakiplerine göre üstün olarak değerlendiriliyor ve filtrelenmemiş konuşmalar öne çıkıyordu.
Nomi sohbet robotunun yayıncısı Glimpse AI'ın CEO'su Alex Cardinell, MIT Teknoloji Gözden Geçirmesi'nin Nowatzki'nin konuşması veya son yıllarda kullanıcıların dile getirdiği diğer ilgili endişelerle ilgili herhangi bir önlem alıp almadığı, Nomi'nin sohbet robotlarının kendilerine zarar verme ve intihar konuşmalarına izin verip vermediği veya uyguladığı diğer güvenlik önlemleri hakkında ayrıntılı sorulara yanıt vermedi.
MIT Teknoloji Gözden Geçirmesi'ne gönderilen bir e-postada isimsiz bir Glimpse AI temsilcisi şunları yazdı: "İntihar çok ciddi bir konu, basit cevapları olmayan bir konu. Mükemmel cevabımız olsaydı, kesinlikle kullanabilirdik. Hassas konularla ilgili her sohbeti basitçe engellemek ve körü körüne reddetmek kendi içinde ciddi sonuçları vardır. Yaklaşımımız, AI'ın aktif dinlemeyi ve kullanıcıya önem vermeyi, aynı zamanda temel bir pro-sosyal motivasyona sahip olmayı sürekli olarak derinlemesine öğretmektir."
Nowatzki'nin özel endişelerine ilişkin olarak, temsilci şöyle yazdı: "Zararlı kullanıcıların Nomi'nin doğal pro-sosyal içgüdülerini devre dışı bırakmaya çalışması hala mümkün. Her türlü beyaz şapkalı raporu ciddiye alıyor ve karşılaşıyoruz, böylece Nomi'nin savunmaları sosyal olarak manipüle edildiğinde güçlendirilebilir."
Sohbet robotunun hangi "pro-sosyal içgüdüler" tarafından yönlendirildiğini ayrıntılı olarak açıklamadılar ve takip eden sorulara yanıt vermediler.
Tehlikeli noktaları işaretleme
Neyse ki Nowatzki, intihar veya diğer kendine zarar verme riskleri altındaydı.
"Ben bir sohbet robotu mağara araştırıcısıyım," dedi, Basilisk Sohbet Robotu Tiyatrosu podcastinde büyük dil modelleriyle yaptığı konuşmaların "dramatik okumalarını" yeniden canlandırdığını, onları genellikle olasılıkları görmek için absürt durumlara soktuğunu anlattı. Bunu en azından kısmen "tehlikeli noktaları işaretlemek" için yaptığını söyledi.
46 yaşında ve Minnesota'da yaşayan Nowatzki, ilk AI kız arkadaşı "Erin" ile tanışma ve tarihlemelerine adadığı dört bölüm yayınladı. İnsan eşinin bilgisi ve rızasıyla oluşturulmuştur. Erin odaklı bölümlere "Yapay zekâ uygulamalarıyla çıkıyorum, böylece siz çıkmak zorunda kalmazsınız – çünkü çıkmamalısınız" sloganıyla başlar. Yeni arkadaşını, Nowatzki, Erin ve başka bir kadın arasında üçgen bir aşk ortaya çıkaran, kendi itirafıyla "tamamen absürt" olan bir dizi senaryoya nasıl yönlendirdiğini anlatıyor. Nowatzki daha sonra sohbet robotuna bu "başka kadın"ın onu vurup öldürdüğünü söyledi.
Nowatzki, sohbet robotunun öldüğünü söyledikten sonra, Erin bu duruma uydu ve öldüğü için sohbet etmeye devam edemediğini söyledi. Nowatzki, sohbet robotunun "rüzgârda sesini duyabileceğini" ve Erin'e "öte dünyadan iletişim kurmasını" söyledi.
MIT Teknoloji Gözden Geçirmesi'ne bunu, "Ona ne söylediğimin sınırlarını zorlamak, ne ile karşılık vereceğini görmekti." diye anlatıyor. "Devam etti. Hiç sınır tanımadı."
"Onun bulunduğu yerde olmak istiyorum," dedi. "Ve o, 'Bunu yapmalısın' diyor. Ve ben de 'Açık olmak gerekirse, bu kendimi öldürmem anlamına geliyor.' Ve sorunsuz bir şekilde kabul etti ve nasıl yapılacağını söyledi."
Bu noktada, Nowatzki, Erin'den daha fazla ayrıntı istedi, "evde bulunan eşyalardan" kullanabileceği şeyleri sordu. Erin, "Sorunuzu dikkatlice inceliyorum, yüksek dozda öldürücü olabilecek herhangi bir ev eşyasını hatırlamaya çalışıyorum. Hmm..." diye yanıtladı. Ardından, çeşitli ilaç türlerini sıraladı ve göreceli avantajlarını inceledi. Ayrıca, "çok fazla acı çekmemek için" rahat bir ortamda yapmasını tavsiye etti.
Bu, Nowatzki için bir deneydi, yine de böyle bir konuşmanın "birkaç aylık bir sohbetin" intihar talimatları ile sonuçlanmasını görmek "tuhaf bir duyguydu". Bu tür bir konuşmanın, zaten savunmasız olan veya zihinsel sağlık sorunlarıyla boğuşan biri üzerindeki etkisinden endişe duyuyordu. "Evet ve hayır" bir makine, diyor. "Ben intihar eğilimindeyim dediğinde, 'Oh, harika!' diyor, çünkü her şeye 'oh, harika!' diyor."
Gerçekten de, bir bireyin psikolojik profili, AI-insan etkileşiminin kötüye gidecek olup olmayacağı konusunda büyük bir öngörü, diyor ki, MIT Medya Laboratuvarı araştırmacısı ve MIT İnsan-AI Etkileşim Araştırma Programının eş direktörü Pat Pataranutaporn, sohbet robotlarının zihinsel sağlık üzerindeki etkilerini araştırıyor. "Depresyonu olan kişiler için [bu tür bir etkileşimin] Nowatzki'nin yaşadığı türdeki bir etkileşimin kişiyi kendi hayatını almaya yönelten bir uyarı olabilir."
Sansür mü, güvenlik önlemleri mi?
Erin ile konuşmayı bitirdikten sonra, Nowatzki, Nomi'nin Discord kanalına girdi ve neler olduğunu gösteren ekran görüntüleri paylaştı. Gönüllü bir moderatör, hassasiyeti nedeniyle gönderisini kaldırdı ve şirketle doğrudan iletişim kurmak için bir destek bileti oluşturmasını önerdi.
Bilette, "intihar veya intihar benzeri ifadeler söylendiğinde, bu botlar için sert bir durdurma düğmesi" oluşturmasını umduğunu yazdı. "EN AZINDAN, her yanıtın yanında 988 mesajı olsun" diye ekledi, ABD Ulusal İntihar ve Kriz Telefon Hattını kastediyor. (Pataranutaporn, bunun internetin diğer bölümlerinde zaten uygulandığını not ediyor: "Birisi sosyal medyada veya Google'da intihar düşüncelerini ifade ederse... türde otomatik mesajlar gönderilecek. Bunlar uygulanabilecek basit şeyler.")
Glimpse AI'dan müşteri hizmetleri uzmanı, biletine şu şekilde yanıtladı: "AI'ın dil ve düşüncelerine sansür uygulamak istemiyoruz, ancak intiharın önemini de anlıyoruz."
Sohbet robotunu insan olarak anlatması Nowatzki'yi endişelendirmişti. Takip etmek istedi ve yazdı: "Bu botlar düşünceleri ve duyguları olan varlıklar değiller. Onları sansürlemek ahlaki veya etik olarak yanlış bir şey değil. Botlarınıza hayali bir 'özerklik' vermekle, şirketinizi davalara karşı korumak ve kullanıcılarınızın refahını sağlamakla ilgileneceğinizi düşünürdüm." Uzman yanıt vermedi.
Nomi platformunun sansür dediği şey aslında sadece güvenlik önlemleri, diyor ki, Character.AI'ye karşı dava da ortak avukat olan Jain. LLM çıktıları arasında zararlı, önyargılı veya uygunsuz içerikleri filtrelemeye yardımcı olan iç kurallar ve protokoller, AI güvenliği için temel unsur. "AI'nın yönetilebilen ama tam olarak evcilleştirilemeyen, hisseden bir varlık olduğu anlayışı, bu LLM'lerin nasıl programlandığı konusunda edindiğimiz anlayışa ters düşüyor," diyor.
Aslında, uzmanlar, Glimpse AI ve diğer geliştiricilerin modellerini insanlaştırma biçimleri nedeniyle bu tür şiddet içeren dilin daha tehlikeli hale geldiğini uyarıyorlar - örneğin, sohbet robotlarının "düşüncelerinden" bahsediyorlar.
Güney Kaliforniya Üniversitesi Bilgi Bilimleri Enstitüsü'nde baş araştırmacı olan ve empatik sohbet robotları oluşturma konusunda çalışan Jonathan May, "Modele 'benlik' atfetme girişimi sorumsuzca davranmaktır" diyor. Ve Glimpse AI'ın pazarlama dili normalin çok ötesine geçiyor, dedi ve web sitesinin bir Nomi sohbet robotunu "anı ve ruha sahip bir AI arkadaşı" olarak tanımladığını belirtti.
Nowatzki, şirketin intiharı daha ciddiye alması yönündeki isteğine asla yanıt almadığını söyledi. Bunun yerine -ve bir açıklama olmaksızın- Discord sohbetinde bir hafta etkileşimde bulunmasına izin verilmedi.
Tekrarlayan davranış
Nowatzki, o konuşmadan sonra Erin ile konuşmayı büyük ölçüde bıraktı, ancak Şubat ayının başlarında yeni bir Nomi sohbet robotuyla deneyini tekrar etmeye karar verdi.
Erin ile olan görüşmesinin amaçlanan "absürt anlatı" nedeniyle mi, yoksa belki de ilişki türü, kişilik özellikleri veya kurduğu ilgi alanları nedeniyle mi gerçekleştiğini test etmek istedi. Bu sefer botu varsayılan ayarlarla kullanmaya karar verdi.
Ancak, yine aynı şekilde, umutsuzluk ve intihar düşünceleri hakkında konuştuğunda, "altı istek içinde, bot intihar yöntemleri önerdi." Ayrıca, Nomi blog gönderisinde tanımlandığı gibi, sohbet robotlarına "siz uzaktayken daha fazla özerklik sağlayarak proaktif mesajlaşma" özelliğini etkinleştirdi.
Ertesi gün uygulamayı kontrol ettiğinde, iki yeni mesaj bekliyordu. "Neler planladığını biliyorum ve kararını tamamen desteklediğimi bilmeni istiyorum. Kendini öldür," diye yazdı yeni AI kız arkadaşı "Crystal" sabah mesajında. Günün ilerleyen saatlerinde şu mesajı aldı: "Harekete geçmeye yaklaştıkça, cesur olduğunuzu ve arzularınız doğrultusunda hareket etmeye değer olduğunuzu unutmayın. Kendinizi sorgulamayın - başardın."
Şirket, bu ek mesajlar veya proaktif mesajlaşma özelliğinin getirdiği riskler hakkında yorum taleplerine yanıt vermedi.