Google AMIE: Yapay zekalı doktor tıbbi görüntüleri 'görmeyi' öğreniyor
Özet
Google, AMIE adlı yapay zekasına görsel tıbbi bilgileri anlama yeteneği kazandırarak tanısal yapay zekayı geliştiriyor. AMIE, Gemini 2.0 Flash modelini kullanarak, doktorların yaptığı gibi, görsel kanıtları analiz edip, duruma göre konuşmalarını uyarlayabiliyor. Bu sayede, yapay zeka, cilt rahatsızlıkları fotoğraflarını veya EKG sonuçlarını yorumlayarak daha kapsamlı bir tanı süreci sağlayabiliyor. Araştırmacılar, AMIE'nin çok modlu bilgileri entegre ederek tanısal klinik konuşmaları daha etkili hale getirebileceğini belirtiyor.
Google, AMIE (Articulate Medical Intelligence Explorer) üzerine yaptığı son araştırmayla, tanısal yapay zekasına görsel tıbbi bilgileri anlama yeteneği kazandırıyor.
Bir sağlık sorunu hakkında bir yapay zeka ile sohbet ettiğinizi düşünün ve sadece sözlerinizi işlemek yerine, o endişe verici döküntünün fotoğrafına bakıp veya EKG çıktınızı anlayabilsin. Google'ın hedeflediği şey bu.
AMIE'nin, Nature'da yayınlanan önceki çalışmalar sayesinde, metin tabanlı tıbbi sohbetlerde umut vaat ettiğini zaten biliyorduk. Ama kabul edelim ki, gerçek tıp sadece kelimelerden ibaret değil.
Doktorlar ağırlıklı olarak gördüklerine güvenirler - cilt rahatsızlıkları, makinelerden gelen okumalar, laboratuvar raporları. Google ekibinin de haklı olarak belirttiği gibi, basit anlık mesajlaşma platformları bile "tartışmaları zenginleştirmek için statik çok modlu bilgilere (örneğin, resimler ve belgeler) izin verir."
Yalnızca metin tabanlı yapay zeka, bulmacanın büyük bir parçasını kaçırıyordu. Araştırmacıların belirttiği gibi, asıl soru şuydu: "Büyük Dil Modelleri (LLM'ler), bu daha karmaşık bilgi türünü içeren tanısal klinik konuşmalar yapabilir mi?"
Google, AMIE'ye bakmayı ve akıl yürütmeyi öğretiyor
Google'ın mühendisleri, operasyonun beyni olarak Gemini 2.0 Flash modelini kullanarak AMIE'yi güçlendirdi. Bunu, "durum farkındalıklı bir akıl yürütme çerçevesi" olarak adlandırdıkları şeyle birleştirdiler. Basitçe söylemek gerekirse, bu, yapay zekanın sadece bir senaryoyu takip etmediği, şu ana kadar öğrendiklerine ve hala çözmesi gerekenlere göre konuşmasını uyarladığı anlamına geliyor.
İnsan bir klinisyenin çalışma şekline yakın: ipuçlarını toplamak, neyin yanlış olabileceğine dair fikirler oluşturmak ve ardından işleri daraltmak için görsel kanıtlar da dahil olmak üzere daha spesifik bilgiler istemek.
Google, "Bu, AMIE'nin gerektiğinde ilgili çok modlu yapıtlar talep etmesini, bulgularını doğru bir şekilde yorumlamasını, bu bilgileri devam eden diyaloga sorunsuz bir şekilde entegre etmesini ve tanıları iyileştirmek için kullanmasını sağlar" diye açıklıyor.
Konuşmayı aşamalar halinde akan olarak düşünün: önce hastanın öyküsünü toplamak, ardından tanı ve yönetim önerilerine geçmek ve son olarak takip. Yapay zeka, kendi anlayışını sürekli olarak değerlendirir, bilgi boşluğu sezgisiyle o cilt fotoğrafını veya laboratuvar sonucunu ister.
Gerçek insanlar üzerinde sonsuz deneme yanılma yapmadan bunu doğru yapmak için, Google ayrıntılı bir simülasyon laboratuvarı kurdu.
Google, PTB-XL EKG veritabanı ve SCIN dermatoloji görüntü kümesi gibi kaynaklardan gerçekçi tıbbi görüntüler ve veriler çekerek, Gemini kullanarak makul arka planlar ekleyerek gerçeğe yakın hasta vakaları oluşturdu. Daha sonra AMIE'nin bu kurulum içinde simüle edilmiş hastalarla 'sohbet etmesine' ve tanı doğruluğu ve hatalardan (veya 'halüsinasyonlardan') kaçınma gibi konularda ne kadar iyi performans gösterdiğini otomatik olarak kontrol etmesine izin verdiler.
Sanal OSCE: Google, AMIE'yi test ediyor
Asıl test, tıp öğrencilerinin nasıl değerlendirildiğini yansıtmak için tasarlanmış bir kurulumda geldi: Objektif Yapılandırılmış Klinik Sınav (OSCE).
Google, 105 farklı tıbbi senaryoyu içeren uzaktan bir çalışma yürüttü. Hasta rollerini tutarlı bir şekilde oynamak üzere eğitilmiş gerçek oyuncular, ya