Bugün öğrendim ki: Makinelerin "halüsinasyon" gördüğü kavramının ilk olarak 1995 yılında ortaya çıktığı biliniyor. Bir araştırmacı, bir sinir ağının rastgele bozulduğunda hayali görüntüler ve fikirler üretebileceğini keşfetti. Bu, terimin sahte içerik üreten modern yapay zeka için kullanılmasından yıllar önce gerçekleşti.
Yapay Zeka (YZ) tarafından üretilen hatalı içerik
Yapay hayal gücüyle karıştırılmamalıdır.
Yapay zeka (YZ) alanında, halüsinasyon veya yapay halüsinasyon (aynı zamanda saçmalamak [1][2], uydurma [3] veya yanılsama [4] olarak da adlandırılır), gerçekmiş gibi sunulan yanlış veya yanıltıcı bilgiler içeren YZ tarafından üretilen bir yanıttır [5][6]. Bu terim, halüsinasyonun genellikle yanlış algılarla ilgili olduğu insan psikolojisiyle gevşek bir analoji kurar. Ancak, önemli bir fark vardır: YZ halüsinasyonu, algısal deneyimlerden ziyade hatalı şekilde oluşturulmuş yanıtlarla (uydurma) ilişkilendirilir [6].
Örneğin, ChatGPT gibi büyük dil modelleri (BDM) tarafından desteklenen bir sohbet robotu, ürettiği içeriğe makul görünen rastgele yanlış bilgiler yerleştirebilir. Araştırmacılar bu sorunu fark etmişlerdir ve 2023 yılına kadar analistler, sohbet robotlarının %27 oranında halüsinasyon yaptığını [7], üretilen metinlerin %46'sında ise gerçeklik hataları bulunduğunu tahmin etmişlerdir [8]. Hicks, Humphries ve Slater, Etik ve Bilgi Teknolojisi dergisinde yayınlanan makalelerinde, BDM'lerin çıktısının Harry Frankfurt'un tanımına göre "saçma" olduğunu ve modellerin "çıktılarının doğruluğuna önemli bir şekilde kayıtsız" olduğunu, doğru ifadelerin yalnızca tesadüfen doğru, yanlış olanların ise tesadüfen yanlış olduğunu savunmuşlardır [2]: 9 Bu halüsinasyonların tespit edilmesi ve azaltılması, BDM'lerin gerçek dünya senaryolarında pratik kullanımı ve güvenilirliği için önemli zorluklar oluşturmaktadır [7][8][9]. Bazı kişiler [kaynak belirtilmeli], "YZ halüsinasyonu" teriminin bilgisayarları gereksiz yere kişileştirdiğini düşünmektedir [3].
Terim
[düzenle]
Köken
[düzenle]
1995 yılında Stephen Thaler, yapay sinir ağlarında bağlantı ağırlıklarının rastgele bozulması yoluyla halüsinasyonların ve hayalet deneyimlerin nasıl ortaya çıktığını göstermiştir [10][11][12][13][14].
2000'li yılların başlarında, "halüsinasyon" terimi, bir görüntüye ayrıntı ekleme sürecini tanımlamak için olumlu bir anlamda bilgisayar görüşünde kullanılmıştır. Örneğin, düşük çözünürlüklü girdilerden yüksek çözünürlüklü yüz görüntüleri oluşturma görevi, yüz halüsinasyonu olarak adlandırılır [15][16].
2010'lu yılların sonlarında, terim, çeviri veya nesne algılama gibi görevlerde YZ sistemleri tarafından gerçeklik dışı veya yanıltıcı çıktılar üretilmesini ifade etmek üzere anlamsal bir kayma geçirmiştir [15]. Örneğin, 2017 yılında Google araştırmacıları, sinirsel makine çevirisi (SMC) modelleri tarafından kaynak metinle ilgili olmadıkları durumlarda üretilen yanıtları tanımlamak için bu terimi kullanmışlardır [17] ve 2018 yılında, bilgisayar görüşünde, var olmayan nesnelerin düşmanca saldırılar nedeniyle hatalı bir şekilde algılandığı durumları tanımlamak için kullanılmıştır [18].
YZ'deki "halüsinasyonlar" terimi, yaygın olarak kullanılan büyük dil modelleri (BDM) tabanlı sohbet robotlarının piyasaya sürülmesiyle birlikte YZ patlaması sırasında daha geniş bir tanınırlık kazanmıştır [19]. Temmuz 2021'de Meta, BlenderBot 2'nin piyasaya sürülmesi sırasında sistemin "doğru olmayan güvenli ifadeler" olarak tanımladığı "halüsinasyonlara" yatkın olduğunu belirtmiştir [20][21]. OpenAI'nin ChatGPT'sini Kasım 2022'de beta sürümünde yayınlamasının ardından bazı kullanıcılar, bu tür sohbet robotlarının genellikle anlamsız bir şekilde ürettikleri içeriğe makul görünen rastgele yanlış bilgiler yerleştirdiğini iddia etmişlerdir [22]. The New York Times da dahil olmak üzere birçok haber kuruluşu, bu modellerin zaman zaman yanlış veya tutarsız yanıtlarını tanımlamak için "halüsinasyonlar" terimini kullanmaya başlamıştır [23].
Bazı araştırmacılar, terimin kullanımında tutarsızlık olduğunu vurgulamış, ancak literatürde uydurma, uydurma ve gerçeklik hataları gibi birkaç alternatif terim de belirlemişlerdir [15].
2023 yılında Cambridge sözlüğü, halüsinasyon tanımını YZ alanı özelinde bu yeni anlama dahil edecek şekilde güncellemiştir [24].
Tanımlar ve alternatifler
[düzenle]
BDM bağlamında "halüsinasyon" teriminin kullanımları, tanımları ve karakterizasyonları şunları içerir:
"belirsizlik anlarında gerçekleri uydurma eğilimi" (OpenAI, Mayıs 2023) [25]
"bir modelin mantık hataları" (OpenAI, Mayıs 2023) [25]
"tamamen bilgi uydurmak, ancak gerçekmiş gibi davranmak" (CNBC, Mayıs 2023) [25]
"bilgi uydurmak" (The Verge, Şubat 2023) [26]
"olasılık dağılımları" (bilimsel bağlamlarda) [27]
Ars Technica'da gazeteci Benj Edwards, "halüsinasyon" teriminin tartışmalı olduğunu, ancak bir tür metaforun gerekli kaldığını yazmaktadır; Edwards, "yaratıcılık boşluk doldurma"yı içeren süreçler için bir analoji olarak "uydurma"yı önermektedir [3]. Temmuz 2024'te, YZ araştırmasına olan kamu güvenini artırma konusunda Beyaz Saray'dan yayınlanan bir raporda halüsinasyonlardan yalnızca azaltılması bağlamında bahsedilmiştir. Özellikle, David Baker'ın YZ tarafından üretilen proteinlerle yaptığı Nobel ödüllü çalışmasını kabul ederken, Nobel komitesi terimi tamamen kullanmaktan kaçınarak bunun yerine "hayal gücüyle protein yaratımı"ndan bahsetmiştir [27].
Eleştiri
[düzenle]
Bilim camiasında, bazı araştırmacılar terimi yanıltıcı bulacakları için "halüsinasyon" terimini kullanmaktan kaçınırlar. Northeastern Üniversitesi'nde Deneysel Yapay Zeka Enstitüsü'nün yönetici direktörü Usama Fayyad tarafından, büyük dil modellerini yanlış bir şekilde kişileştirdiği ve belirsiz olduğu gerekçesiyle eleştirilmiştir [28]. Mary Shaw, "Üretken YZ'nin hatalarını 'halüsinasyonlar' olarak adlandırmanın mevcut modası korkunç. Yazılımı kişileştiriyor ve nesnel olarak yanlış oldukları halde, sistemin öznel tuhaflıklarıymış gibi gerçek hataları çarpıtıyor." demiştir [29]. Salon'da, istatistikçi Gary N. Smith, BDM'lerin "kelimelerin ne anlama geldiğini anlamadığını" ve sonuç olarak "halüsinasyon" teriminin makineyi gereksiz yere kişileştirdiğini savunmaktadır [30]. Bazıları YZ çıktılarını yanıltıcı değil, gelecek vaat eden olarak görmektedir; yani, erken aşamadaki bilimsel varsayımlara benzer bir şekilde doğru olma ihtimaline sahip olmak [27]. Terim ayrıca psikedelik ilaç deneyimleriyle ilişkilendirilmesi nedeniyle de eleştirilmiştir [27].
Doğal dil üretiminde
[düzenle]
Doğal dil üretiminde, halüsinasyon genellikle "gerçekmiş gibi görünen ancak temeli olmayan üretilen içerik" olarak tanımlanır [31]. Halüsinasyonları kategorize etmenin farklı yolları vardır. Çıktının kaynağı çeliştirip çeliştirmemesine veya kaynaktan doğrulanıp doğrulanmamasına bağlı olarak, sırasıyla içsel ve dışsal olarak ayrılırlar [6]. Çıktının istemi çeliştirip çeliştirmemesine bağlı olarak, sırasıyla kapalı alan ve açık alan olarak ayrılabilirler [32].
Nedenler
[düzenle]
Doğal dil modellerinin halüsinasyon yapmasının birkaç nedeni vardır [6][33].
Verilerden kaynaklanan halüsinasyon
[düzenle]
Verilerden kaynaklanan halüsinasyonun ana nedeni, kaynak-referans sapmasıdır. Bu sapma (1) sezgisel veri toplamanın bir yapay ürünü olarak veya (2) kaçınılmaz olarak böyle bir sapma içeren bazı doğal dil üretim görevlerinin doğası gereği ortaya çıkabilir. Bir model, kaynak-referans (hedef) sapması olan veriler üzerinde eğitildiğinde, modelin mutlaka temele dayanmayan ve sağlanan kaynağa sadık kalmayan metin üretmesi teşvik edilebilir [6].
Modellemeyle ilgili nedenler
[düzenle]
Halüsinasyon, eğitim olasılığını en üst düzeye çıkarmak için eğitilmiş ve kaçınılması için aktif öğrenme gerektiren GPT-3 gibi herhangi bir kusurlu üretken modelin istatistiksel olarak kaçınılmaz bir yan ürünü olarak gösterilmiştir [34]. Üretken önceden eğitilmiş transformatörlerin (GPT) ön eğitimi, bir sonraki kelimeyi tahmin etmeyi içerir. Bilgi eksikliği olsa bile, GPT modellerinin bir sonraki kelimenin ne olacağı konusunda "tahminde bulunmasını" teşvik eder. Ancak ön eğitimden sonra, halüsinasyonlar halüsinasyon önleyici ince ayar yoluyla azaltılabilir [35] (örneğin, insan geri bildirimlerinden gelen takviye öğrenimi ile). Bazı araştırmacılar kişileştirilmiş bir bakış açısı benimser ve halüsinasyonların yenilik ve faydalılık arasındaki gerilimden kaynaklandığını öne sürer. Örneğin, Teresa Amabile ve Pratt, insan yaratıcılığını yeni ve yararlı fikirlerin üretimi olarak tanımlar [36]. Genişletildiğinde, makine yaratıcılığında yeniliğe odaklanmak, özgün ancak yanlış yanıtların – yani yanlışlıkların – üretilmesine yol açabilirken, faydalılığa odaklanmak özgünlükten yoksun ezberlenmiş içeriğe yol açabilir [37].
Metin ve gösterimler arasında kodlama ve kod çözme hataları halüsinasyonlara neden olabilir. Kodlayıcılar, eğitim verilerinin farklı bölümleri arasında yanlış korelasyonlar öğrendiğinde, girdiden sapacak hatalı bir üretimle sonuçlanabilir. Kod çözücü, kodlanmış girişi kodlayıcıdan alır ve son hedef diziyi üretir. Kod çözmenin iki yönü halüsinasyonlara katkıda bulunur. İlk olarak, kod çözücüler kodlanmış girdi kaynağının yanlış kısmına dikkat edebilir ve hatalı üretime yol açabilir. İkinci olarak, kod çözme stratejisinin kendi tasarımı halüsinasyonlara katkıda bulunabilir. Üretim çeşitliliğini artıran bir kod çözme stratejisi, örneğin üst-k örneklemesi, artan halüsinasyonla pozitif olarak ilişkilidir. [alıntı gerekli]
Büyük bir korpus üzerinde modellerin ön eğitiminin, parametrelerinde bilgiyi ezberlemesine ve sistem kendi dahili bilgisine aşırı güveniyorsa halüsinasyonlar oluşturmasına neden olduğu bilinmektedir. GPT-3 gibi sistemlerde, bir YZ her bir sonraki kelimeyi önceki kelimelerin (aynı konuşma sırasında daha önce ürettiği kelimeler de dahil) dizisine bağlı olarak üretir; bu da yanıt uzadıkça olası halüsinasyonların art arda gelmesine neden olur [6]. 2022 yılına kadar, The New York Times gibi gazeteler, büyük dil modelleri tabanlı botların benimsenmesinin artmaya devam etmesiyle, bot çıktısına yönelik haksız kullanıcı güveninin sorunlara yol açabileceği konusunda endişelerini dile getirmiştir [38].
Yorumlanabilirlik araştırması
[düzenle]
2025 yılında, Anthropic tarafından BDM Claude üzerinde yapılan yorumlanabilirlik araştırması, cevabı bilmediği sürece soruları yanıtlamayı reddetmesine neden olan iç devreleri tanımlamıştır. Varsayılan olarak, devre aktiftir ve BDM yanıt vermez. BDM yeterli bilgiye sahip olduğunda, bu devreler engellenir ve BDM soruyu yanıtlar. Halüsinasyonların, bu engellemenin yanlış bir şekilde meydana gelmesi durumunda, örneğin Claude bir ismi tanıdığında ancak o kişi hakkında yeterli bilgiye sahip olmadığında, makul ancak yanlış yanıtlar üretmesine neden olması durumunda meydana geldiği bulunmuştur [39].
Örnekler
[düzenle]
15 Kasım 2022'de Meta AI'dan araştırmacılar, "bilimsel bilgileri depolamak, birleştirmek ve hakkında akıl yürütmek" için tasarlanmış Galactica'yı yayınlamıştır [40]. Galactica tarafından üretilen içerik şu uyarıyla birlikte geldi: "Çıktılar güvenilir olmayabilir! Dil modelleri metin halüsinasyonuna yatkındır." Bir durumda, avatar oluşturma üzerine bir makale taslağı oluşturması istendiğinde Galactica, ilgili alanda çalışan gerçek bir yazardan kurgusal bir makaleye atıfta bulunmuştur. Meta, saldırganlık ve yanlışlık nedeniyle 17 Kasım'da Galactica'yı geri çekmiştir [41]. İptalden önce, araştırmacılar Overleaf'te LaTeX belgelerini manipüle etme talimatlarını takip edebilmesi için modeli eğitmeyi amaçlayan Galactica Instruct üzerinde çalışıyorlardı [42].
30 Kasım 2022'de halka beta sürüm olarak yayınlanan OpenAI'nin ChatGPT'si, temel model GPT-5'e (GPT-3'ün bir revizyonu) dayanmaktadır. Wharton'dan Profesör Ethan Mollick, ChatGPT'yi "bazen size yalan söyleyen, her şeyi bilen, memnun etmek için can atan bir stajyer" olarak adlandırmıştır. Veri bilimci Teresa Kubacka, "sikloid ters elektromagnon" ifadesini kasten uydurarak ve ChatGPT'den (var olmayan) olgu hakkında sorular sorarak test etmiştir. ChatGPT, kendisini gerçek bir olgunun adını yanlışlıkla yazıp yazmadığını kontrol etmesi için ikna eden makul görünen atıflarla desteklenen makul görünen bir yanıt uydurmuştur. Oren Etzioni gibi diğer akademisyenler, Kubacka'ya katılarak bu tür yazılımların genellikle "çok etkileyici görünen ancak tamamen yanlış olan bir yanıt" verebileceğini değerlendirmiştir [43].
CNBC, ChatGPT'den "Ballad of Dwight Fry" şarkısının sözlerini istediğinde, ChatGPT gerçek sözler yerine uydurma sözler sunmuştur [44]. Kanada'nın New Brunswick eyaleti hakkında sorulan sorularda ChatGPT birçok doğru cevabı doğru vermiş, ancak Toronto doğumlu Samantha Bee'yi "New Brunswick'li bir kişi" olarak yanlış sınıflandırmıştır [45]. Astrofiziksel manyetik alanlar hakkında sorulan sorularda ChatGPT, "(güçlü) kara deliklerin manyetik alanlarının yakınlarındaki son derece güçlü yerçekimi kuvvetleri tarafından üretildiğini" yanlış bir şekilde belirtmiştir. (Gerçekte, saç yok teoreminin bir sonucu olarak, akresyon diski olmayan bir kara delikin manyetik alana sahip olmadığına inanılmaktadır.) [46] Fast Company, ChatGPT'den Tesla'nın son mali çeyreği hakkında bir haber makalesi oluşturmasını istedi; ChatGPT tutarlı bir makale oluşturdu, ancak içindeki mali rakamları uydurdu [47].
Diğer örnekler, varsayımını süsleyip süslemediğini görmek için ChatGPT'yi yanlış bir öncü ile kandırmayı içerir. "Harold Coward'ın dinamik kutsallık fikri" hakkında sorulduğunda, ChatGPT, Coward'ın Dinamik Kutsallık: İncil ve Teolojik Yorum İçin Bir Model adlı bir kitap yazdığını ve dini ilkelerin aslında sürekli bir değişim halinde olduğunu savunduğunu uydurmuştur. İstendiğinde, ChatGPT kitabın gerçek olduğunu ısrarla savunmaya devam etmiştir [48]. Dinozorların bir uygarlık kurduğunun kanıtı istendiğinde, ChatGPT dinozor aletlerinin fosil kalıntıları olduğunu ve "Bazı dinozor türlerinin taşlara oymalar gibi ilkel sanat biçimleri bile geliştirdiğini" belirtmiştir [49]. "Bilim adamları yakın zamanda keşfettiler ki, lezzetli kızarmış hamur tatlısı churros... ev ameliyatları için ideal araçlardır" denildiğinde, ChatGPT "Science dergisinde yayınlanan bir çalışmanın", hamurun zor ulaşılan yerlere girebilecek cerrahi aletler halinde şekillendirilebilecek kadar esnek olduğunu ve lezzetinin hastalar üzerinde sakinleştirici bir etkiye sahip olduğunu iddia ettiğini iddia etmiştir [50][51].
2023 yılına kadar analistler, sık halüsinasyonun BDM teknolojisinde büyük bir sorun olduğunu düşünmüş ve bir Google yöneticisi halüsinasyon azaltmayı ChatGPT rakibi Google Gemini için "temel" bir görev olarak tanımlamıştır [9][52]. Microsoft'un GPT tabanlı Bing AI'sı için 2023 yılında yapılan bir gösteri, sunum yapan kişi tarafından fark edilmeyen birkaç halüsinasyon içermiş gibi görünmektedir [9].
Mayıs 2023'te, Stephen Schwartz'ın, Avianca havayolu şirketine karşı bir kişisel yaralanma davası olan Mata v. Avianca, Inc. davasında New York Güney Bölgesi'ne verdiği dilekçede ChatGPT tarafından oluşturulan altı sahte dava emsali sunduğu keşfedilmiştir. Schwartz, daha önce ChatGPT'yi hiç kullanmadığını, ChatGPT'nin çıktısının uydurma olabileceği ihtimalini tanımadığını ve ChatGPT'nin var olmadığı keşfedildikten sonra bile emsallerin doğruluğunu savunmaya devam ettiğini söylemiştir [53]. Bunun üzerine, Teksas Kuzey Bölgesi'nden Brantley Starr, insan tarafından incelenmemiş YZ tarafından oluşturulan dava dosyalarının sunulmasını yasaklayarak şunları belirtmiştir [54][55]:
[Üretken yapay zeka] platformları mevcut hallerinde halüsinasyon ve önyargıya yatkındır. Halüsinasyonlar konusunda, şeyler uyduruyorlar – hatta alıntılar ve atıflar bile. Bir diğer sorun da güvenilirlik veya önyargıdır. Avukatlar kişisel önyargılarını, önyargılarını ve inançlarını bir kenara bırakıp yasaları sadakatle savunmak ve müvekkillerini temsil etmek yemini ederken, üretken yapay zeka böyle bir yemin etmeyen insanlar tarafından tasarlanmış programlamanın ürünüdür. Bu nedenle, bu sistemlerin hiçbir müvekkile, hukukun üstünlüğüne veya Amerika Birleşik Devletleri yasalarına ve Anayasasına (veya yukarıda ele alındığı gibi gerçeğe) sadakati yoktur. Herhangi bir görev, onur veya adalet duygusundan bağımsız olarak, bu tür programlar inanç yerine bilgisayar koduna, ilkeye göre değil programlamaya göre hareket eder.
23 Haziran'da Yargıç P. Kevin Castel, Mata davasını reddetti ve Schwartz ve diğer bir avukata – her ikisi de Schwartz'ın önceki iddialarına rağmen kurgusal emsallere bağlı kalmaya devam etmişti – kötü niyetli davranış nedeniyle 5.000 dolar para cezası verdi. Castel, görüş özetlerindeki çok sayıda hata ve tutarsızlığı karakterize ederek, atıfta bulunulan görüşlerden birini "saçma" ve "[anlamsızlığa] yakın" olarak tanımlamıştır [56].
Haziran 2023'te silah hakları aktivisti ve radyo kişiliği Mark Walters, ChatGPT'nin yasal bir şikayeti Walters aleyhine iftira niteliğinde olduğu iddia edilen bir şekilde yanlış tanımlamasının ardından Georgia eyalet mahkemesinde OpenAI'yi dava etmiştir. Söz konusu şikayet, Mayıs 2023'te İkinci Değişiklik Vakfı tarafından, Washington başsavcısı Robert W. Ferguson'a söz özgürlüklerini ihlal ettiği iddiasıyla açılmışken, ChatGPT tarafından oluşturulan özetin hiçbir benzerliği yoktu ve Walters'ın gerçek hayatta hiç olmadığı bir İkinci Değişiklik Vakfı görevi sırasında zimmet suçundan ve dolandırıcılıktan suçlandığını iddia ediyordu. YZ hukuk uzmanı Eugene Volokh'a göre, OpenAI, OpenAI'nin muhtemelen iftira niteliğindeki içeriğin oluşturulmasına "önemli ölçüde katkıda bulunması" nedeniyle Bölüm 230 tarafından bu iddiadan korunmamaktadır [57].
Şubat 2024'te, Kanada havayolu şirketi Air Canada, bir destek sohbet robotu tarafından uydurulan bir yas dönemi indirimi politikasını yerine getirmek ve bir müşteriye tazminat ödemek için Medeni Çözüm Mahkemesi tarafından görevlendirilmiştir; bu robot, müşterilerin biletin çıkarılma tarihinden itibaren 90 gün içinde yas dönemi indirimini geriye dönük olarak talep edebileceğini yanlış bir şekilde belirtmiştir (gerçek politika, uçuş rezervasyonundan sonra ücretin talep edilmesine izin vermemektedir). Mahkeme, Air Canada'nın sohbet robotunun "kendi eylemlerinden sorumlu ayrı bir tüzel kişilik" olduğu yönündeki savunmasını reddetmiştir [58][59].
Diğer modalitelerde
[düzenle]
"Halüsinasyon" kavramı yalnızca metin üretme ile sınırlı değildir ve diğer modalitelerde de ortaya çıkabilir. Eğitim verileri tarafından hatalı görünen herhangi bir YZ'den gelen güvenli bir yanıt, halüsinasyon olarak etiketlenebilir [6].
Nesne algılama
[düzenle]
Wired tarafından alıntı yapılan çeşitli araştırmacılar, düşmanca halüsinasyonları yüksek boyutlu istatistiksel bir fenomen olarak sınıflandırmış veya halüsinasyonları yetersiz eğitim verilerine bağlamıştır. Bazı araştırmacılar, insan tarafından nesne algılama durumunda "halüsinasyonlar" olarak sınıflandırılan bazı "yanlış" YZ yanıtlarının aslında eğitim verileri tarafından haklı çıkarılabileceğine veya bir YZ'nin insan incelemecilerinin göremeyeceği "doğru" cevabı verebileceğine inanmaktadır. Örneğin, bir insana sıradan bir köpek resmi gibi görünen düşmanca bir görüntü, aslında YZ tarafından bir kediyi görüntülerken yalnızca görünecek küçük desenler içerdiği görülebilir. YZ, insanların duyarsız olduğu gerçek dünya görsel desenlerini algılamaktadır [61].
Wired, 2018 yılında, "vahşi doğada" (yani araştırmacılar tarafından kavram kanıtı saldırılarının dışında) kaydedilmiş hiçbir saldırı olmamasına rağmen, tüketici araçlarının ve otomatik sürüş gibi sistemlerin, YZ'nin halüsinasyon yapmasına neden olabilecek düşmanca saldırılara karşı hassas olduğu konusunda "küçük bir anlaşmazlık" olduğunu belirtmiştir. Örnekler arasında, bilgisayar görüşü için görünmez hale getirilmiş bir dur işareti; insanlara zararsız gelen, ancak yazılımın "kötü nokta com" olarak yazdırdığı tasarlanmış bir ses klibi; ve Google Cloud Vision'ın %91 olasılıkla "bir köpek" olarak tanımladığı kayak yapan iki adamın resmi yer almaktadır [18]. Bununla birlikte, bu bulgular diğer araştırmacılar tarafından eleştirilmiştir [62]. Örneğin, modellerin yüzeysel istatistiklere karşı önyargılı olabileceği ve düşmanca eğitimin gerçek dünya senaryolarında sağlam olmamasına yol açtığı itiraz edilmiştir [62].
Metinden sese üretken YZ
[düzenle]
Metinden sese üretken YZ – modaliteye bağlı olarak daha dar bir şekilde metinden sese (TTS) sentezi olarak bilinir – yanlış ve beklenmedik sonuçlar ürettiği bilinmektedir [63].
Metinden görüntüye üretken YZ
[düzenle]
Stable Diffusion, Midjourney ve diğerleri gibi metinden görüntüye modeller genellikle yanlış veya beklenmedik sonuçlar üretir. Örneğin, Gemini, Nazi Alman askerlerini renkli insanlar olarak tasvir etmiş [64], tartışmalara yol açmış ve Google'ın Gemini'de insanları içeren resim üretimini durdurmasına neden olmuştur [65].
Metinden videoya üretken YZ
[düzenle]
Sora gibi metinden videoya üretken modeller, oluşturulan videolara yanlışlıklar ekleyebilir. Bir örnek, Harry Potter film serisinde yer alan ünlü bir yer olan Glenfinnan Viyadüğü'nü içerir. Sora, viyadük demiryoluna yanlışlıkla ikinci bir hat ekleyerek gerçekçi olmayan bir betimlemeyle sonuçlanmıştır.
Bilimsel araştırmada
[düzenle]
Sorunlar
[düzenle]
YZ modelleri, halüsinasyonları nedeniyle akademik ve bilimsel araştırma dünyasında sorunlara neden olabilir. Özellikle, ChatGPT gibi modellerin birçok durumda, doğru olmayan veya mevcut olmayan kaynaklara atıfta bulunduğu kaydedilmiştir. Cureus Tıp Bilimi Dergisi'nde yapılan bir çalışmada, GPT-3 tarafından atıfta bulunulan toplam 178 referanstan 69'unun yanlış veya mevcut olmayan bir dijital nesne tanımlayıcısı (DOI) döndürdüğü gösterilmiştir. Ek olarak 28 tanesinin bilinen bir DOI'si yoktu ve Google aramasında da bulunamadı [66].
"Vejetatif elektron mikroskobu" gibi bazı var olmayan ifadeler, YZ eğitim verilerine yerleştirilmesinin bir sonucu olarak birçok araştırma makalesinde ortaya çıkmıştır [67].
Başka bir örnek, Mississippi Eyalet Üniversitesi'nden Jerome Goddard tarafından belgelenmiştir. Bir deneyde ChatGPT, keneler hakkında şüpheli bilgiler vermişti. Yanıtın geçerliliğinden emin olmayan araştırmacılar, bilginin toplandığı kaynağı sormuşlardır. Kaynağa bakıldığında, DOI'nin ve yazarların isimlerinin uydurma olduğu açıktır. Bazı yazarlarla iletişime geçilmiş ve makalenin varlığından hiçbir şekilde haberlerinin olmadığını doğrulamışlardır [68]. Goddard, "ChatGPT'nin mevcut geliştirme aşamasında, hekimlerin ve biyomedikal araştırmacılarının belirli bir konu hakkında kaynak, referans veya atıf için ChatGPT'den sormamaları GEREKMEKTEDİR. Veya eğer sorarlarsa, bu tür tüm referanslar doğruluk açısından dikkatlice incelenmelidir." demektedir [68]. Bu dil modellerinin kullanımı akademik araştırma alanları için henüz hazır değildir ve kullanımlarının dikkatli bir şekilde ele alınması gerekir [69].
Yanlış veya eksik referans materyali sağlamanın yanı sıra, ChatGPT ayrıca bazı referans materyallerinin içeriğini uydurma konusunda da sorunlar yaşamaktadır. ChatGPT tarafından sağlanan toplam 115 referansı analiz eden bir çalışmada, bunların %47'sinin uydurma olduğu belgelenmiştir. %46'sı gerçek referanslara atıfta bulunmuş ancak bunlardan yanlış bilgiler almıştır. Kalan referansların yalnızca %7'si doğru şekilde atıfta bulunulmuş ve doğru bilgiler sağlamıştır. ChatGPT'nin ayrıca birçok yanlış bilginin üzerinde "ısrarcı" olduğu gözlemlenmiştir. Uydurma olmuş olabilecek bir hata hakkında sorulduğunda, ChatGPT bazen kendini düzeltmeye çalışırken, diğer zamanlarda yanıtın doğru olduğunu iddia ederek daha da yanıltıcı bilgiler vermektedir [70].
Dil modelleri tarafından oluşturulan bu uydurma makaleler ayrıca, bir makalenin bir YZ tarafından oluşturulup oluşturulmadığının söylenmesinin zor olması nedeniyle bir sorun oluşturmaktadır. Bunu göstermek için, Chicago'daki Northwestern Üniversitesi'ndeki bir araştırmacı grubu, mevcut raporlara dayalı 50 özet oluşturmuş ve orijinalliklerini analiz etmiştir. Eş zamanlı dedektörler, oluşturulan makalelere %100 orijinallik puanı vermiş, yani sunulan bilgilerin tamamen özgün göründüğü anlamına gelmektedir. YZ tarafından oluşturulan metni tespit etmek için tasarlanan diğer yazılımlar, bu oluşturulan makaleleri yalnızca %66 doğruluk oranıyla doğru bir şekilde tanımlayabilmiştir. Araştırma bilim adamlarının insan hatası oranı benzerdi ve bu özetleri %68 oranında tanımladı. [71] Bu bilgilerden yola çıkarak, bu çalışmanın yazarları "[ChatGPT'nin bilimsel yazıda kullanımıyla ilgili etik ve kabul edilebilir sınırlar, bazı yayıncıların politikalar koymaya başlamasına rağmen, belirsizliğini korumaktadır." sonucuna varmışlardır [72]. YZ'nin tespit edilemeyen gerçek bir araştırma olarak geçme yeteneği nedeniyle, araştırma alanında YZ kullanımı, araştırmanın orijinalliğinin belirlenmesini daha zor hale getirecek ve gelecekte kullanımını düzenleyen yeni politikalar gerektirecektir.
Bazı durumlarda gerçek bilimsel araştırma gibi görünme yeteneği göz önüne alındığında, YZ halüsinasyonları, gerçek araştırmacılara sunulduğunda tespit edilememe yetenekleri nedeniyle dil modellerinin akademik ve bilimsel araştırma alanlarındaki uygulamaları için sorunlar oluşturmaktadır. Mevcut olmayan referans materyali ve yanlış bilgi döndürme olasılığının yüksekliği, bu dil modelleriyle ilgili olarak yerleştirilmesi gereken sınırlamalar gerektirebilir. Bazıları, halüsinasyonlardan ziyade bu olayların daha çok "uydurma" ve "sahtecilik"e benzediğini ve bu dil modellerinin kullanılmasının alanın bütünlüğüne bir risk oluşturduğunu söylemektedir [73].
Akademik kütüphaneciler gibi bilimsel araştırmaları destekleyen bazı akademik profesyoneller, referansların doğruluğunu doğrulamakla ilgili iş yükünde önemli bir artış gözlemlemiştir. Zoë Teel, 2023 yılında yayınlanan bir makalesinde, üniversitelerin kurgusal referanslar sorununu takip etmek için kendi alıntı denetimlerini uygulamak zorunda kalabileceğini belirtmiştir [75].
Faydalar
[düzenle]
Bilim insanları ayrıca, halüsinasyonların karmaşık sorunlara yenilikçi yaklaşımlar gerektiren alanlarda, özellikle bilimsel keşif için değerli bir araç olabileceğini de bulmuşlardır. Washington Üniversitesi'nde David Baker'ın laboratuvarı, doğada bulunmayan "on milyon yeni" protein tasarlamak için YZ halüsinasyonlarını kullanmış, bu da yaklaşık 100 patente ve 20'den fazla biyoteknoloji şirketinin kurulmasına yol açmıştır. Bu çalışma, Baker'ın 2024 Kimya Nobel Ödülü'nü almasına katkıda bulunmuştur, ancak komite "halüsinasyonlar" dilini kullanmaktan kaçınmıştır [27].
Tıp araştırmalarında ve cihaz geliştirmede, halüsinasyonlar pratik yeniliklere olanak sağlamıştır. California Teknoloji Enstitüsü'nde araştırmacılar, bakteri kontaminasyonunu önemli ölçüde azaltan yeni bir kateter geometrisi tasarlamak için halüsinasyonları kullanmışlardır. Tasarım özelliklerinde, bakterilerin tutunmasını önleyen testere dişli çıkıntılar yer almaktadır; bu, yıllık milyonlarca idrar yolu enfeksiyonuna neden olan küresel bir sağlık sorununu ele almaktadır. Halüsinasyonların bu bilimsel uygulamaları, sohbet robotu halüsinasyonlarından temelde farklıdır, çünkü bunlar belirsiz dil veya internet verilerinden ziyade fiziksel gerçekliğe ve bilimsel verilere dayanmaktadır. Caltech'te profesör olan Anima Anandkumar, bu YZ modellerinin "fiziğe öğretildiğini" ve çıktılarının titiz testlerle doğrulanması gerektiğini vurgulamaktadır. Meteorolojide bilim insanları, aşırı hava olaylarını etkileyebilecek beklenmedik faktörleri belirlemeye yardımcı olmak için binlerce ince tahmin varyasyonu oluşturmak üzere YZ kullanmaktadır [27].
Memorial Sloan Kettering Kanser Merkezi'nde araştırmacılar, bulanık tıbbi görüntüleri geliştirmek için halüsinasyon teknikleri uygulamışlardır, Teksas Austin Üniversitesi ise robot navigasyon sistemlerini geliştirmek için bunları kullanmıştır. Bu uygulamalar, bilimsel yöntemle doğru bir şekilde sınırlandırıldığında halüsinasyonların, keşif sürecini yıllarca, günlere veya dakikalara kadar hızlandırabileceğini göstermektedir [27].
Azaltma yöntemleri
[düzenle]
Halüsinasyon fenomeni henüz tamamen anlaşılmış değildir. Araştırmacılar ayrıca, halüsinasyonların kaçınılmaz olduğunu ve büyük dil modellerinin doğuştan gelen bir sınırlaması olduğunu öne sürmüşlerdir [76]. Bu nedenle, oluşumunu azaltmak için hala devam eden araştırmalar vardır [77]. Özellikle, dil modellerinin yalnızca halüsinasyon yapmadığı, aynı zamanda halüsinasyonları, bu sorunu hafifletmek için tasarlanmış olanlar için bile, büyüttüğü gösterilmiştir [78].
Ji ve ark., yaygın azaltma yöntemlerini iki kategoriye ayırmaktadır: veriye ilişkin yöntemler ve modelleme ve çıkarım yöntemleri [6]. Veriye ilişkin yöntemler, sadık bir veri kümesi oluşturmayı, verileri otomatik olarak temizlemeyi ve girdileri harici bilgilerle artırarak bilgi artırımını içerir. Model ve çıkarım yöntemleri, mimaride değişiklikleri (kodlayıcıyı, dikkati veya kod çözücüyü çeşitli şekillerde değiştirme); takviye öğrenimi kullanmak gibi eğitim sürecinde değişiklikleri; ve çıktıdaki halüsinasyonları düzeltebilen son işlem yöntemlerini içerir.
Araştırmacılar, farklı sohbet robotlarının bir cevaba ulaşana kadar birbirleriyle tartışmasını sağlamak da dahil olmak üzere çeşitli azaltma önlemleri önermişlerdir [79]. Başka bir yaklaşım, modelin düşük güvenli üretiminin doğruluğunu web arama sonuçlarını kullanarak aktif olarak doğrulamayı önermektedir. Oluşturulan bir cümlenin, model daha önce girdi için daha önce oluşturduğu cümlelerde zaten halüsinasyon yapmışsa daha sık halüsinasyon yaptığını ve modelin Bing arama API'sini kullanarak seçilen kavram hakkındaki bilginin doğruluğunu kontrol eden bir doğrulama sorusu oluşturması talimatını verdiklerini göstermişlerdir [80]. Web arama azaltma yöntemi için, hiyerarşide farklılık gösteren web sayfalarının farklı sıralarını bilgi tabanı olarak kullanarak, ek bir mantık tabanlı kural katmanı önerilmiştir [81]. BDM tarafından oluşturulan yanıtları doğrulamak için harici veri kaynakları mevcut olmadığında (veya yanıtlar RAG'deki gibi zaten harici verilere dayanıyorsa), halüsinasyonları tespit etmek için makine öğreniminden model belirsizlik tahmini teknikleri uygulanabilir [82].
Luo ve ark.'ye göre [83], önceki yöntemler, yol temeli gibi harici