Sztuczna inteligencja radzi sobie z testami medycznymi, ale zawodzi w klinicznym rozumowaniu
Nowe badania wykazały, że mimo sukcesów w testach medycznych, modele AI mają trudności z dynamicznym i złożonym rozumowaniem klinicznym wymaganym w rzeczywistej opiece zdrowotnej.
Sztuczna inteligencja może osiągać dobre wyniki w medycznych testach wielokrotnego wyboru, jednak nadal ma problemy z dynamicznym i zniuansowanym podejmowaniem decyzji, które są niezbędne w rzeczywistej opiece zdrowotnej. Nowe badania pokazują, że duże modele językowe nie są jeszcze zdolne do elastycznego rozumowania klinicznego, na którym codziennie opierają się lekarze.
Liam McCoy, rezydent neurologii z Uniwersytetu Alberty, współpracujący także z MIT i Beth Israel Deaconess Medical Center w Harvardzie, ocenił, jak wiodące modele AI interpretują objawy, integrują nowe informacje i dostosowują ścieżki diagnostyczne. Stwierdził, że zaawansowane modele często błędnie oceniają niepewność, przeceniają znaczenie nieistotnych szczegółów oraz nie aktualizują swoich wniosków po zmianie informacji o pacjencie.
Paradoksalnie, niektóre metody dostrajania AI, mające na celu uczynienie jej „bardziej pomocną”, zwiększyły tę nadmierną pewność siebie. „Nie jesteśmy jeszcze na etapie, w którym pacjent mógłby wejść do gabinetu, uruchomić model językowy i oczekiwać bezpiecznej oceny klinicznej” – mówi McCoy. „Medycyna to znacznie więcej niż odtwarzanie faktów.” Badanie zostało opublikowane w The New England Journal of Medicine.
Ocena AI za pomocą narzędzi edukacji medycznej
Aby lepiej mierzyć elastyczność diagnostyczną, McCoy i współpracownicy opracowali benchmark AI o nazwie concor.dance, inspirowany testami zgodności skryptów (script concordance testing), stosowanymi na całym świecie do oceny, jak studenci medycyny radzą sobie z niejednoznacznością kliniczną. Zespół przetestował 10 głównych modeli AI na scenariuszach z chirurgii, pediatrii, psychiatrii i medycyny ratunkowej, wykorzystując skrypty z różnych krajów.
Wyniki były spójne: AI osiągała poziom porównywalny z młodszymi studentami medycyny, ale ustępowała starszym rezydentom i lekarzom prowadzącym. Modele szczególnie miały trudności z tzw. „czerwonymi śledziami” – nieistotnymi faktami, które doświadczeni lekarze szybko ignorują. Zamiast odrzucać takie informacje, systemy próbowały je uzasadniać, często tworząc pewne, lecz błędne rozumowanie.
Różnica między umiejętnościami egzaminacyjnymi a oceną kliniczną
Wyniki podkreślają, że rozumowanie kliniczne to odrębna kompetencja, której nie da się łatwo odwzorować za pomocą algorytmów dopasowujących wzorce. Wysokie wyniki na testach standaryzowanych, zarówno u studentów, jak i modeli AI, nie przekładają się na biegłość w podejmowaniu decyzji diagnostycznych w czasie rzeczywistym.
McCoy traktuje to jako wezwanie do działania, a nie przeszkodę. Wraz z szybkim wprowadzaniem AI do procesów klinicznych, od dokumentacji po wsparcie obrazowania, podkreśla, że środowisko medyczne musi aktywnie kształtować rozwój tych technologii. „Mamy obowiązek zapewnić, że systemy te będą skuteczne, sprawiedliwe i dostosowane do potrzeb pacjentów.”
Kontynuując szkolenie neurologiczne, McCoy planuje rozszerzyć swój system oceny i współpracować z dużymi firmami technologicznymi, aby przyszłe narzędzia AI wspierały rozumowanie kliniczne, a nie je zakłócały. „W medycynie nie można działać szybko i łamać zasad, ale też nie można stać w miejscu.”
AI a dokładność diagnostyczna
Rozwój AI w diagnostyce medycznej jest niepowstrzymany i wielokrotnie potwierdzono jej wartość, choć nadal zaleca się ostrożność. Od początku lekarze, naukowcy i badacze podkreślali, że narzędzia AI nigdy nie zastąpią specjalistów, a jedynie będą ich wspierać.
Przykładem skutecznego wsparcia jest niedawno wprowadzony przez Microsoft AI Diagnostic Orchestrator (MAI‑DxO). Ta innowacyjna technologia symuluje proces myślowy zespołu wielodyscyplinarnego lekarzy i potrafi stawiać złożone diagnozy z wysoką dokładnością, nawet do czterech razy większą niż lekarze.
MAI-DxO działa metodą „łańcucha debaty” – serią kroków rozumowania, w których AI aktywnie zbiera informacje, zleca ukierunkowane badania i dostosowuje hipotezy. Microsoft wykorzystuje do tego wiele modeli AI (takich jak GPT, Claude, Gemini i Llama), które współpracują jako jeden inteligentny system. Efektem jest nie tylko większa dokładność, ale także przejrzystość, oszczędność czasu oraz około 20% redukcja kosztów diagnostyki.
Źródło: https://www.icthealth.org/news/study-ai-falls-short-in-clinical-reasoning-despite-exam-success
Źródło: www.icthealth.org