Sağlık alanındaki yapay zeka arayüzlerinin kullanıcı uzmanlığına neden uyum sağlaması gerekiyor?
Özet
MIT araştırmacıları, sağlık sektöründeki yapay zeka açıklanabilirlik araçlarının kullanıcıya bağlı olarak farklı sonuçlar ürettiğini ve uzman olmayanların modele uyum sağlayarak, birinci basamak sağlayıcıların ise açıklama olmaksızın daha iyi performans gösterdiğini keşfetti. *Nature Medicine* dergisinde yayımlanan çalışma, bu araçların insanlarda otomasyon yanlılığı yaratabildiğini ve algoritmik uyumun hatalara yol açabileceğini ortaya koydu. Uzmanlar, yapay zeka sistemleri ve arayüzleri tasarlanırken bu sabitleme etkisinin dikkatle hesaba katılması gerektiğini vurgulamaktadır.
MIT araştırmacıları ve iş birliği yaptığı kişiler, sağlık sektöründeki yapay zeka açıklanabilirlik araçlarının, bunları kimin kullandığına bağlı olarak keskin bir şekilde farklı sonuçlar üretebildiğini keşfetti.
Cilt hastalığı teşhisine uygulandığında, uzman olmayan kişiler yapay zeka yardımıyla doğruluk oranlarını artırdı; ancak bu iyileşme büyük ölçüde modele uyum sağlamaktan kaynaklandı. Birinci basamak sağlık hizmeti sağlayıcıları ise farklı bir model gösterdi: En iyi performansı, herhangi bir açıklama olmaksızın yapay zeka tahminini aldıklarında sergilediler.
Nature Medicine dergisinde yayımlanan çalışma, yapay zeka araçlarının halihazırda bazı klinisyenleri desteklediği ve yapay zeka destekli arama ürünleri aracılığıyla giderek daha fazla hastaya ulaştığı dermatolojik teşhisleri inceledi.
MIT Elektrik Mühendisliği ve Bilgisayar Bilimleri Bölümü Doçenti Marzyeh Ghassemi, bulguların sağlık yapay zekası arayüzlerinin tasarımında özen gösterilmesini gerektirdiğini söyledi.
Ghassemi, "İyi yapay zeka sistemleri bazı sağlık alanlarında performansı artırabilir, ancak bu, daha fazla hataya yol açabilen algoritmik uyumla dikkatli bir şekilde dengelenmelidir" dedi ve ekledi: "Hem yapay zekanın hem de açıklanabilirlik yöntemlerinin insanlarda otomasyon yanlılığı yaratabileceğini biliyoruz ve bu sabitleme etkisi, yapay zeka sistemleri tasarlarken hesaba katılması gereken bir husustur."
Arayüz teşhisi değiştiriyor
Açıklanabilir yapay zeka, kullanıcılara bir modelin çıktısını değerlendirme gerekçeleri sunmayı amaçlar. Bir sistem, tıbbi bir görüntünün teşhisini etkileyen alanlarını vurgulayabilir. Başka bir yaklaşım ise bir tahmini destekleyen benzer görüntüleri gösterebilir.
Büyük dil modelleri farklı bir yol sunar. Bir modelin akıl yürütmesinin sade bir dille anlatımını üretebilir, teşhisi genel bir kitleye yönelik terimlerle sunabilir.
MIT liderliğindeki araştırma bu yaklaşımlardan birkaçını test etti. Katılımcılar, bir cilt hastalığının yapay zeka tahminiyle birlikte tıbbi görüntüleri gördüler. Bir arayüz herhangi bir açıklama olmaksızın bir tahmin ve güven düzeyi sağladı. Başka bir arayüz benzer görüntüleri döndürdü ve ayrı bir sistem ilgi alanlarını belirlemek için ısı haritaları kullandı. Araştırmacılar ayrıca büyük dil modeli tarafından üretilen açıklamaları da test ettiler.
Uzman olmayan kişiler, ben görüntülerinin kanser gösterip göstermediğini değerlendirdi. Klinisyenler ise daha kapsamlı bir görevle karşı karşıyaydı: Dermatolojik hastalık için ayırıcı tanı sağlamak zorundaydılar.
Uzman olmayanlar en çok dil açıklamalarına uydu
Araştırmadaki her açıklanabilirlik yaklaşımı, uzman olmayan kişilerin doğruluk oranını artırdı. Araçlar temel olarak katılımcıların kanserli olmayan benleri belirlemesine yardımcı oldu.
Araştırmacılar ayrıca daha koyu ten tonlarına yönelik önyargıyı ele almayı amaçlayan, adalet kısıtlı bir modeli de test ettiler. Bu model, ten tonuna dayalı teşhis eşitsizliklerini azaltırken doğruluğu artırdı. Performans artışı bir riskle birlikte geldi. Uzman olmayan kişiler büyük ölçüde modelin tavsiyesine güvendi ve modelin yanlış çıktısı, doğru çıktının performansı artırdığından daha fazla performansa zarar verdi.
Ghassemi, "Uzman olmayan kullanıcıların daha iyi olmasının nedeni, modellere daha bağımlı olmalarıdır. Model yanlış olduğunda, bu durum model doğru olduğunda performansa yardımcı olduğundan daha fazla performansa zarar verir. Biz bu ortam için sadece çok iyi yapay zeka modelleri eğitmeyi başardık" dedi.