Bugün öğrendim ki: Bilim insanları, AI tarafından oluşturulan sınav cevaplarının %94'ünün tanınmadığını gösteren bir çalışma yaptı. AI, öğrencilerden yarım not daha iyi performans gösterdi.
Reading Üniversitesi'ndeki araştırmacılar, gizlice yapay zekâ destekli sınav cevapları göndererek kendi profesörlerini kandırdılar ve bu cevaplar fark edilmeden gerçek öğrencilerden daha yüksek notlar aldı.
Proje, ChatGPT-4 tarafından üretilen düzenlenmemiş cevapları lisansüstü derslerin ev ödevleri olan online sınavlarda göndermek için sahte öğrenci kimlikleri oluşturdu.
Üniversitenin sınav görevlileri -proje hakkında bilgilendirilmemişlerdi- 33 gönderiden sadece birini işaretledi; geri kalanı yapay zekâ ile üretilen cevaplar, öğrencilerden daha yüksek ortalama notlar aldı.
Yazarlar, bulgularının, ChatGPT gibi yapay zekâ işlemcilerinin artık, bilgisayar bilimi öncüsü Alan Turing'in adını taşıyan ve deneyimli yargıçlar tarafından fark edilmeden geçilebilen "Turing Testi"ni geçtiğini gösterdiğini belirtti.
İnsan eğitimcilerinin yapay zekâ ile üretilen yanıtları tespit edebilmelerini araştırmak amacıyla "türünün en büyük ve en sağlam kör çalışması" olarak nitelendirilen çalışma, üniversitelerin öğrencileri nasıl değerlendirdiğine dair önemli sonuçları olacağını uyarıyor.
Yazarlardan ve Reading Üniversitesi Psikoloji ve Klinik Dil Bilimleri bölümünde yardımcı doçent olan Dr. Peter Scarfe, "Araştırmamız, yapay zekânın eğitimsel değerlendirmelerin bütünlüğünü nasıl etkileyeceğini anlamak için uluslararası önem taşıdığını gösteriyor," dedi.
"Gerektiği gibi el yazısı sınavlara geri dönmeyebiliriz, ancak küresel eğitim sektörünün yapay zekânın önünde evrim geçirmesi gerekecek."
Çalışma şöyle sonuçlandı: "Mevcut eğilimlere dayanarak, yapay zekânın daha soyut akıl yürütme yeteneğine sahip olmasının ve tespit edilebilirliğinin azalmasının, akademik dürüstlük problemi için kötüleşeceği anlamına geliyor."
Çalışmayı inceleyen uzmanlar, bunun ev ödevleri veya gözetimsiz ders çalışmaları için ölümcül bir darbe olacağını söyledi.
Birmingham Üniversitesi'nde hukuk, etik ve bilişim alanında araştırmacı olan Prof. Karen Yeung, "Bu gerçek dünya kalite güvence testi yayımlaması, açıkça ulaşılabilir olan üretken yapay zekâ araçlarının, öğrencilerin ev ödev sınavlarını kolayca aldatarak daha yüksek notlar almasını sağladığını ancak bu tür aldatmanın neredeyse tespit edilemediğini çok açık bir şekilde gösteriyor" dedi.
Çalışma, üniversitelerin öğrenciler tarafından oluşturulan yapay zekâ materyallerini değerlendirmelere dahil edebileceğini öne sürüyor. Başka bir yazar olan Prof. Etienne Roesch, "Sektör olarak, öğrencilerin çalışmalarındaki yapay zekânın rolünü nasıl kullanacaklarını ve nasıl kabul edeceklerini kabul etmemiz gerekiyor. Bu, toplum genelinde güven krizini önlemek için diğer yaşam alanlarında yapay zekânın daha geniş kullanımı için de geçerlidir." dedi.
Reading Üniversitesi eğitimden sorumlu pro-rektörü Prof. Elizabeth McCrum, üniversitenin ev ödevleri olan online sınavları kullanmaktan "uzaklaştığını" ve "gerçek yaşamda, genellikle iş yerindeki" ortamlarda bilgiyi uygulama içeren alternatifler geliştirdiğini söyledi.
McCrum, "Bazı değerlendirmeler, öğrencilerin yapay zekâyı kullanmalarını destekleyecek. Eleştirel ve etik olarak nasıl kullanacaklarını öğretecek; yapay zekâ okuryazarlıklarını geliştirecek ve modern işyerinde gerekli becerilerle onları donandıracaktır. Diğer değerlendirmeler yapay zekâ kullanılmadan tamamlanacaktır." dedi.
Ancak Yeung, okullarda ve üniversitelerde yapay zekâ kullanımına izin verilmesinin, öğrencileri "beceriksizleştirme" konusunda kendi sorunlarını yaratabileceğini söyledi.
"Çoğumuzdan farklı olarak artık tanımadığımız yerlerde Google Haritalar'ın yardımı olmadan dolaşamıyoruz, gelişmekte olan neslin gerçekten bu makinelere bağlı kalıp ciddi düşünme, analiz veya yazma etkinliklerine yardımcıları olmadan katılmaları tehlikesi var." dedi Yeung.
Çalışmanın dipnotlarında, yazarların araştırmayı hazırlamak ve yazmak için yapay zekâ kullanmış olabileceği belirtildi: "Bunu 'aldatmaca' olarak değerlendirir miydiniz? GPT-4'ü (veya başka bir yapay zekâyı) kullandığımızı reddetsek bile bunu 'aldatmaca' olarak kabul etseydiniz, yalan söylediğimizi nasıl kanıtlamaya çalışırdınız?"
Reading Üniversitesi sözcüsü, çalışmanın kesinlikle insanlar tarafından yapıldığını doğruladı.