Etkileyici çıktısına rağmen, üretken yapay zekanın dünya hakkında tutarlı bir anlayışı yoktur
Büyük dil modelleri, şiir yazmak veya çalışır bilgisayar programları üretmek gibi etkileyici şeyler yapabilirler, her ne kadar bu modeller metin parçalarında sonra gelecek kelimeleri tahmin etmek üzere eğitilmiş olsalar da.
Bu şaşırtıcı yetenekler, modellerin dünyanın genel gerçekleri hakkında örtük olarak bir şeyler öğrendikleri gibi görünmesini sağlayabilir.
Ancak, yeni bir araştırmaya göre durum böyle değil. Araştırmacılar, popüler bir tür üretken yapay zekâ modelinin, şehrin doğru bir içsel haritasını oluşturmadan, New York Şehrinde neredeyse mükemmel doğrulukla gidiş-dönüş sürüş yönleri verebildiğini buldu.
Modelin inanılmaz derecede etkili bir şekilde yönlendirme yeteneğine rağmen, araştırmacılar bazı sokakları kapattıklarında ve şantlar eklediklerinde performansı düştü.
Daha derinlemesine incelediklerinde, araştırmacılar, modelin örtük olarak oluşturduğu New York haritalarının, ızgaranın arasında kıvrılan ve uzak kesişim noktalarını birbirine bağlayan birçok gerçek dışı sokağa sahip olduğunu tespit etti.
Bu, gerçek dünyada konuşlandırılan üretken yapay zekâ modelleri için ciddi sonuçlar doğurabilir, çünkü bir modelin bir bağlamda iyi çalıştığı görünmesine rağmen, görev veya çevre hafifçe değiştiğinde başarısız olabilir.
Baş yazar ve MIT Bilgi ve Karar Sistemleri Laboratuvarı (LIDS) araştırmacısı yardımcı profesör Ashesh Rambachan, "Umarız büyük dil modelleri dilde bu kadar harika şeyler yapabildikleri için belki aynı araçları bilimin diğer alanlarında da kullanabiliriz. Ancak, büyük dil modellerinin tutarlı dünya modelleri öğrenip öğremediği sorusu, bu teknikleri yeni keşifler yapmak için kullanmak istiyorsak çok önemlidir," diyor.
Rambachan, çalışmaya Harvard Üniversitesi'nden doktora sonrası araştırmacı baş yazar Keyon Vafa; MIT Elektrik Mühendisliği ve Bilgisayar Bilimi (EECS) lisansüstü öğrencisi Justin Y. Chen; Cornell Üniversitesi Bilgisayar Bilimi ve Bilgi Bilimi Tisch Üniversitesi Profesörü Jon Kleinberg; ve MIT Ekonomi ve EECS bölümlerinde profesör, ve LIDS üyesi Sendhil Mullainathan ile ortaklaşa bir makale üzerinde çalışıyor. Araştırma, Sinirsel Bilgi İşleme Sistemleri Konferansı'nda sunulacak.
Yeni Ölçütler
Araştırmacılar, GPT-4 gibi büyük dil modellerinin omurgasını oluşturan dönüştürücü olarak bilinen bir tür üretken yapay zekâ modelinde yoğunlaştı. Dönüştürücüler, bir cümledeki sonraki kelime gibi bir sıradaki sonraki işareti tahmin etmek için büyük miktarda dil tabanlı veri üzerinde eğitilmişlerdir.
Ancak bilim insanları, bir büyük dil modelinin dünyanın doğru bir modelini oluşturup oluşturmadığını belirlemek istediklerinde, tahminlerinin doğruluğunu ölçmenin yeterli olmadığını söylüyor araştırmacılar.
Örneğin, bir dönüştürücünün, kurallardan hiç habersiz, neredeyse her seferinde bir Connect 4 oyununda geçerli hamleleri tahmin edebildiğini buldular.
Bu nedenle, ekip, bir dönüştürücünün dünya modelini test edebilecek iki yeni ölçüt geliştirdi. Araştırmacılar, belirli bir durumlar dizisi, yani bir hedefe ulaşmak için geçilmesi gereken kavşaklar ve yol boyunca uyulması gereken kuralları somut bir şekilde açıklayan problemler sınıfı olan deterministik sonlu otomasyonlar (DFA) üzerinde çalışmalarına odaklandı.
New York Şehrinde yön bulma ve Othello kart oyununu formüle etmek için iki problem seçtiler.
"Dünya modelinin ne olduğunu bildiğimiz test ortamlarına ihtiyacımız vardı. Şimdi, bu dünya modelinin geri kazanılmasının ne anlama geldiğini kesin olarak düşünebiliyoruz," diye açıklıyor Vafa.
Geliştirdikleri ilk ölçüt, sıralı ayrım, bir modelin iki farklı durumu (örneğin, iki farklı Othello tahtası) gördüğünde ve bunların nasıl farklı olduğunu anladığında tutarlı bir dünya modeli oluşturduğunu söylüyor. Sıralar, yani verilerden oluşan sıralı listeler, dönüştürücülerin çıktı üretmek için kullandıkları şeydir.
İkinci ölçüt olan sıra sıkıştırma, tutarlı bir dünya modeline sahip bir dönüştürücünün, iki özdeş durumun (örneğin, iki özdeş Othello tahtası) aynı olası sonraki adım dizisine sahip olduğunu bildiğini belirtiyor.
Rastgele üretilen dizilerden üretilen veri üzerinde eğitilmiş ve stratejilere göre üretilen veri üzerinde eğitilmiş iki yaygın dönüştürücü sınıfını test etmek için bu ölçütleri kullandılar.
Tutarlı Olmayan Dünya Modelleri
Şaşırtıcı bir şekilde, araştırmacılar, rastgele kararlar alan dönüştürücülerin, belki de eğitim sırasında daha geniş bir olası sonraki adım yelpazesi gördükleri için daha doğru dünya modelleri oluşturduğunu buldu.
"Othello'da, şampiyon oyuncular yerine iki rastgele bilgisayarın oynadığını görürseniz, teoride şampiyon oyuncuların yapmayacağı kötü hamleler de dahil olmak üzere tüm olası hamleleri görürsünüz," diye açıklıyor Vafa.
Dönüştürücülerin neredeyse her durumda doğru yönler ve geçerli Othello hamleleri üretmesine rağmen, iki ölçüt, yalnızca birinin Othello hamleleri için tutarlı bir dünya modeli oluşturduğunu ve hiçbirinin yön bulma örneğinde tutarlı dünya modelleri oluşturmada iyi bir performans sergilemediğini ortaya koydu.
Araştırmacılar bunu New York Şehri haritasına şantlar ekleyerek gösterdiler, bu da tüm yönlendirme modellerinin başarısız olmasına neden oldu.
"Performansın, bir şant eklediğimiz anda ne kadar çabuk kötüleştiğine şaşırdım. Olası sokakların yalnızca %1'ini kapattığımızda, doğruluk hemen hemen %100'den %67'ye düşüyor," diyor Vafa.
Modellerin ürettiği şehir haritalarını geri aldıklarında, ızgaranın üzerine bindirilmiş, yüzlerce sokağın kesiştiği hayal ürünü bir New York Şehri gibi göründü. Haritalar, genellikle diğer sokakların üzerinde rastgele köprüler veya imkansız yönlere sahip çoklu sokaklar içeriyordu.
Bu sonuçlar, dönüştürücülerin kuralları anlamadan belirli görevlerde şaşırtıcı derecede iyi performans gösterebileceğini gösteriyor. Bilim insanları, doğru dünya modelleri yakalayabilen büyük dil modelleri oluşturmak istiyorlarsa, farklı bir yaklaşım benimsemeleri gerekiyor, diye söylüyorlar araştırmacılar.
"Çoğu zaman, bu modellerin etkileyici şeyler yaptığını görüyoruz ve dünyanın hakkında bir şey anladıkları sonucuna varıyoruz. Umarım insanları bunun çok dikkatlice düşünülmesi gereken bir soru olduğunu ve cevabı kendi sezgilerimize güvenmemize gerek olmadığını ikna edebiliriz," diyor Rambachan.
Gelecekte, araştırmacılar, bazı kuralların yalnızca kısmen bilindiği gibi daha çeşitli problemlerle ilgilenmeyi ve değerlendirme ölçütlerini gerçek dünya bilimsel sorunlara uygulamaya devam etmeyi hedefliyorlar.
Bu çalışma, kısmen Harvard Veri Bilimi Girişimi, Ulusal Bilim Vakfı Lisansüstü Araştırma Bursu, Vannevar Bush Öğretim Üyesi Bursu, Simons İşbirliği hibesi ve MacArthur Vakfı'nın bir hibesi tarafından finanse ediliyor.