AI przewyższa lekarzy w symulowanej diagnostyce medycznej
System AI Microsoftu poprawnie zdiagnozował ponad 80% przypadków, w porównaniu do 36-47% lekarzy.
System AI opracowany przez Microsoft uzyskał znacznie wyższą dokładność diagnostyczną niż lekarze ogólni w kontrolowanym wyzwaniu medycznym. Technologia poprawnie zdiagnozowała ponad 80% przypadków, w porównaniu do około 36-47% w przypadku uczestniczących lekarzy. Wyniki opublikowane w czasopiśmie Science sugerują, że AI może stać się potężnym narzędziem wspierającym decyzje kliniczne. Jednak wcześniejsze badania wykazały słabą wydajność diagnostyczną ogólnych chatbotów, co podkreśla ważną różnicę: sukces w zorganizowanej symulacji niekoniecznie przekłada się na wiarygodną diagnostykę w codziennej opiece zdrowotnej.
Diagnostyka złożonych schorzeń medycznych często wymaga od klinicystów łączenia objawów, historii medycznych, wyników badań laboratoryjnych i obrazowych. Naukowcy z Microsoftu opracowali MAI Diagnostic Orchestrator (MAI-DxO), aby zbadać, czy AI może systematycznie przeprowadzać ten proces. Zamiast generować natychmiastową odpowiedź, system symuluje panel ekspertów medycznych, który rozważa możliwe diagnozy, prosi o dodatkowe informacje i ocenia dowody przed podjęciem decyzji.
Wyższa dokładność diagnostyczna
Naukowcy opracowali ramy testowe zwane Sequential Diagnosis Benchmark (SDBench). Obejmowały one 304 złożone przypadki diagnostyczne opublikowane w The New England Journal of Medicine oraz 325 rekordów przyjęć na oddział ratunkowy. Każdy przypadek został przekształcony w interaktywne ćwiczenie diagnostyczne. Lekarze i AI początkowo otrzymali ograniczone informacje o pacjencie i mogli następnie prosić o dodatkowe szczegóły lub badania diagnostyczne.
System oparty na AI dostarczył informacji z oryginalnych rekordów, podczas gdy inny oceniał ostateczne diagnozy w porównaniu do udokumentowanych wyników. MAI-DxO poprawnie zdiagnozował 83,2% złożonych przypadków opublikowanych oraz 80,3% przypadków z oddziału ratunkowego. Lekarze ogólni osiągnęli średnią dokładność wynoszącą 36,1% i 46,8% odpowiednio. Wartość 36,1% dotyczyła lekarzy, którzy mogli konsultować materiały referencyjne.
AI wykazał również inne podejście diagnostyczne, prosząc o więcej informacji na temat historii medycznej pacjentów przed wyborem testów. Według badaczy ta strategia może przyczynić się do bardziej efektywnych badań diagnostycznych. Niemniej jednak potencjalne oszczędności kosztów zależą od sposobu skonfigurowania systemu i wymagają dalszej oceny.
Wcześniejsze badania z kontrastującymi wynikami
Wyniki wydają się stać w sprzeczności z badaniami wcześniej zgłoszonymi przez nas w maju 2025 roku. W tym badaniu naukowcy z Uniwersytetu Waterloo ocenili ChatGPT-4o, używając około 100 pytań z egzaminów medycznych sformułowanych jako otwarte problemy diagnostyczne. Chatbot poprawnie zidentyfikował diagnozę tylko w 37% przypadków. Ponadto prawie dwie trzecie jego odpowiedzi uznano za niejasne, niezależnie od tego, czy informacje medyczne były faktograficznie poprawne.
Naukowcy ostrzegli, że wiarygodne, ale nieprawdziwe odpowiedzi mogą stwarzać ryzyko dla pacjentów próbujących samodzielnie postawić diagnozę. Nieprawidłowe zapewnienia mogą opóźnić konieczną pomoc medyczną, podczas gdy mylące ostrzeżenia mogą powodować niepotrzebny niepokój.
Różnica w wynikach Microsoftu jest uderzająca, ale badania dotyczyły różnych technologii w różnych warunkach. Badanie Waterloo oceniało ogólny chatbot odpowiadający na otwarte pytania. System Microsoftu wykorzystuje zorganizowany proces diagnostyczny, w którym komponenty AI wielokrotnie oceniają hipotezy i proszą o dodatkowe dowody.
Wybór przypadków, procedury oceny i warunki eksperymentalne również różniły się. W związku z tym procenty nie mogą być interpretowane jako bezpośrednie porównanie, które wykazuje, że diagnostyka AI poprawiła się z 37% do 83% w ciągu roku. Niemniej jednak wyniki sugerują, że sposób, w jaki systemy AI organizują rozumowanie diagnostyczne, może być równie ważny jak podstawowy model językowy.
Specjalistyczne AI już wykazuje potencjał diagnostyczny
Dowody na potencjał AI w diagnostyce medycznej nie ograniczają się do modeli językowych. W czerwcu 2024 roku informowaliśmy o międzynarodowym badaniu PI-CAI, koordynowanym przez Radboudumc i opublikowanym w The Lancet Oncology. Naukowcy ocenili algorytmy AI opracowane do wykrywania klinicznie istotnego raka prostaty w obrazach MRI. W badaniu uczestniczyło ponad 200 zespołów AI i 62 radiologów z 20 krajów. Naukowcy połączyli pięć wiodących algorytmów w jeden system i porównali jego wydajność z radiologami.
AI wykrył prawie 7% więcej klinicznie istotnych nowotworów prostaty i wyprodukował około 50% mniej fałszywych wyników pozytywnych niż radiolodzy w porównaniu. Wyniki te wykazały potencjał specjalistycznych systemów AI do poprawy dokładności diagnostycznej i redukcji zbędnych badań. Niemniej jednak technologia wymagała dalszej walidacji klinicznej przed rutynowym wdrożeniem.
W przeciwieństwie do szerokiego systemu rozumowania diagnostycznego Microsoftu, algorytmy PI-CAI koncentrowały się na jasno określonym zadaniu związanym z obrazami medycznymi. Razem badania ilustrują, że diagnostyka AI obejmuje znacznie różne technologie, z których każda wymaga oceny odpowiedniej do jej zamierzonego zastosowania klinicznego.
Walidacja kliniczna
Pomimo zachęcających wyników Microsoftu, naukowcy wyraźnie ostrzegają przed wyciąganiem wniosków, że AI jest już lepsze od lekarzy w praktyce klinicznej. SDBench ocenia rozumowanie diagnostyczne w kontrolowanych warunkach, a nie w bezpośredniej opiece nad pacjentem. Nie uchwyca pełnej złożoności badań klinicznych, komunikacji, niepewności ani decyzji terapeutycznych. Badanie nie ustala również wyższości nad specjalistami medycznymi lub zespołami multidyscyplinarnymi.
Dalsze badania muszą ustalić, czy połączenie AI z wiedzą kliniczną poprawia dokładność diagnostyczną, efektywność i wyniki pacjentów w rzeczywistych środowiskach opieki zdrowotnej. Na razie wyniki wspierają bardziej zniuansowane wnioski niż nieograniczony entuzjazm lub całkowita sceptycyzm. AI może imponująco działać w określonych ustawieniach diagnostycznych, pozostając jednocześnie niewiarygodne w innych. Wyzwanie polega na ustaleniu, gdzie te systemy rzeczywiście dodają wartość, jak rozpoznać ich ograniczenia i jak klinicyści mogą je bezpiecznie wykorzystywać, nie rezygnując z profesjonalnego osądu.
Źródło: https://www.icthealth.org/news/ai-outperforms-doctors-in-simulated-medical-diagnosis
Źródło: www.icthealth.org