PRISM2 modeli, patoloji slaytlarını yorumlamak için klinik diyalogdan yararlanır.
Özet
Paige ve Microsoft tarafından geliştirilen PRISM2, tüm slayt görüntüleri ile klinik diyalogları ortaklaşa işleyerek teşhis sorularına doğrudan metin üreten algılayıcı tabanlı bir yapay zeka modelidir. 2,3 milyon tüm slayt görüntüsü ve GPT-4o ile dönüştürülmüş yüzbinlerce patoloji raporuyla eğitilen sistem, iki aşamalı bir mimari kullanmaktadır. Birinci aşamada karo düzeyindeki özellikler tek bir slayt vektöründe toplanırken, ikinci aşamada model patoloji raporlama geleneklerini öğrenmesi için diyalog üzerinde ince ayara tabi tutulmaktadır. Eğitim sürecinde, hem kontrastif hem de otoregresif hedefleri aynı anda kullanan sistem, yalnızca görsel benzerlik puanlaması yapmakla kalmayıp doğrudan metin üretme yeteneği kazanmaktadır.
Paige ve Microsoft tarafından geliştirilen PRISM2, doku karolarından ve patoloji raporlarından alınan klinik diyaloglardan ortaklaşa eğitilmiş algılayıcı (perceiver) tabanlı bir kodlayıcı aracılığıyla tüm slayt görüntülerini okur. Model, slayt başına binlerce karo gömmesini tek bir temsilde toplar ve pikselleri yalnızca sınıflandırmak yerine teşhis sorularını yanıtlayan metin üretir.
Eğitim verileri 2,3 milyon tüm slayt görüntüsünü kapsamaktadır. Diyalog denetimi, Memorial Sloan Kettering Kanser Merkezi'nin rutin bakım sırasında topladığı ve GPT-4o tarafından soru-cevap çiftlerine dönüştürüldüğü 685.507 patoloji raporundan gelmektedir.
Mimari ve gömme tasarımı
Mimari, iki ayrı aşamada çalışır. Birinci aşama, slayt kodlayıcının kendisini eğiterek karo düzeyindeki özellikleri rapor diliyle korelasyon gösteren tek bir slayt düzeyinde vektörde toplamasını öğretir.
İkinci aşama, bu kodlayıcıyı tamamen dondurur ve işi dil modeline kaydırarak, kodlayıcı mekanizmalarını değil patoloji raporlama geleneklerini öğrenmesi için onu diyalog üzerinde ince ayara tabi tutar.
Tek turlu diyalog, bu ikinci aşamada denetimi sağlar. Eğitime hiçbir çok turlu konuşma geçmişi dahil edilmez; bu da dağıtılmış bir sistemin ek mühendislik olmadan destekleyebileceği etkileşimli al-ver türünü sınırlandırır.
Algılayıcı tabanlı bir slayt kodlayıcı, Virchow2 karo gömmelerini slayt düzeyindeki temsilde toplayarak birinci aşamanın merkezinde yer alır. İki kayıp fonksiyonu bunu aynı anda eğitir.
BioGPT metin gömmeleri, slayt temsillerini eşleşen rapor diline doğru çeken ve onları eşleşmeyen çiftlerden uzaklaştıran kontrastif bir hedefi yönlendirir. Phi-3 Mini, bunun yanında otoregresif bir hedef çalıştırarak kodlayıcının çıktısının yalnızca benzerlik puanlaması yerine doğrudan metin üretimini desteklemeye zorlar.
Yalnızca kontrastif eğitim geri alımda iyi ancak üretimde zayıf gömmeler üretme eğilimindedir ve yalnızca otoregresif eğitim, aktarılabilir görsel özellikleri öğrenmeden yüzey metin kalıplarına aşırı uyum sağlayabilir (overfit olabilir). Her ikisini de aynı kodlayıcı çıktısına karşı çalıştırmak, PRISM2'nin yaptığı mimari bahistir.
PRISM2, bir tane yerine iki ayrı gömme sunar. Temel gömmeler doğrudan slayt kodlayıcıdan gelir ve biyobelirteç tahmin görevlerine aktarılır. Tanısal gömmeler ise, yalnızca model hem slayt gizliliklerini hem de komut metnini birlikte işledikten sonra çıkarılan 4 milyar parametreli dil modelinin gizli durumundan çekilir.
Bu ayrım, her bir gömmenin en iyi nerede performans gösterdiğini şekillendirir. Eğitim, tanısal gömmeyi özellikle kanser tespiti ve alt tip belirleme görevleri için ayarlar. Makale yazarları, bu tanı odaklı dağılımın dışında kalan her şey için temel gömmeyi önermektedir. Sağkalım görevleri, diğer ikisinin üzerine üçüncü, ayrıca ince ayarı yapılmış bir gömme alır.
Performans ve kıyaslama sonuçları
PRISM2, prostat ve meme kanseri tespiti için kalibre edilmiş klinik düzeydeki ürünlerin bu ürünlerin kendi değerlendirme verilerinde test edilen dengeli doğruluğunu karşılar veya aşar