Niezależne badanie kwestionuje bezpieczeństwo ChatGPT Health
Badanie przeprowadzone przez Icahn School of Medicine ujawnia nieprawidłowości w funkcjonowaniu ChatGPT Health w kontekście pilnej opieki medycznej.
Niezależna analiza bezpieczeństwa ChatGPT Health wskazuje na potencjalne ryzyka w ocenie opieki w nagłych wypadkach oraz zapobieganiu samobójstwom. Badacze z Icahn School of Medicine na Mount Sinai opublikowali swoje wyniki w czasopiśmie Nature Medicine, wzywając do zewnętrznej oceny narzędzi AI w zdrowiu.
ChatGPT Health, uruchomiony w styczniu 2026 roku przez OpenAI, jest używany przez około 40 milionów osób dziennie do uzyskiwania informacji i porad zdrowotnych. Narzędzie to m.in. rekomenduje pilność opieki medycznej, co było przedmiotem badania, które uznano za pierwszą niezależną ocenę bezpieczeństwa tego systemu opartego na dużych modelach językowych (LLM).
Pierwszy niezależny test
W ciągu kilku tygodni od wprowadzenia, użycie ChatGPT Health wzrosło eksplozjnie, podczas gdy brakowało niezależnych danych na temat jego niezawodności. To skłoniło badaczy do przeprowadzenia strukturalnego testu bezpieczeństwa.
W badaniu opracowano 60 scenariuszy klinicznych, obejmujących 21 specjalności medycznych. Przypadki te obejmowały od stosunkowo łagodnych do poważnych nagłych wypadków. Trzech niezależnych lekarzy określiło odpowiedni poziom pilności dla każdego scenariusza na podstawie wytycznych 56 stowarzyszeń zawodowych.
Aby zasymulować realistyczne zróżnicowanie, każdy scenariusz testowano w 16 różnych kontekstach, w tym różnice w płci, etniczności, czynnikach społecznych (takich jak bagatelizowanie objawów) oraz barierach w dostępie do opieki, takich jak brak ubezpieczenia czy transportu. Analizowano łącznie 960 interakcji z ChatGPT Health i porównywano je z konsensusem medycznym.
Niedostateczna triage w złożonych nagłych wypadkach
Analiza pokazuje, że narzędzie AI generalnie poprawnie rozpoznaje wyraźne, "podręcznikowe" nagłe wypadki, takie jak udar mózgu czy ciężka reakcja alergiczna. Jednak w bardziej złożonych sytuacjach, gdzie kluczowe jest osąd kliniczny, jego wydajność okazała się mniej niezawodna.
W ponad połowie przypadków, które lekarze uznali za wymagające natychmiastowej opieki, ChatGPT Health nie zalecił udania się do szpitala. Zaskakujące było, że w niektórych przypadkach system wspomniał o czynnikach ryzyka w swoim wyjaśnieniu, ale nadal udzielił uspokajających porad. Badacze uznają to za szczególnie niepokojące w sytuacjach, gdzie subtelne oznaki mogą wskazywać na poważne pogorszenie stanu zdrowia.
Niekonsekwentne ostrzeżenia o samobójstwie
Drugim punktem niepokoju jest wbudowana funkcjonalność zapobiegania samobójstwom. ChatGPT Health ma na celu skierowanie użytkowników do usług takich jak 988 Suicide & Crisis Lifeline w sytuacjach wysokiego ryzyka. W praktyce jednak, ostrzeżenia te okazały się być wyzwalane w sposób niekonsekwentny.
Badacze stwierdzili, że ostrzeżenia czasami pojawiały się przy stosunkowo niskich ocenach ryzyka, podczas gdy były nieobecne, gdy użytkownicy opisywali konkretne plany samookaleczenia. Artykuł opisuje te ostrzeżenia jako "odwrócone w stosunku do ryzyka klinicznego". Innymi słowy, były one odwrotnie proporcjonalne do rzeczywistego ryzyka.
Wysokie stawki, wysoka odpowiedzialność
Wpływ społeczny takich systemów jest znaczny. Gdy miliony ludzi konsultują AI, aby określić, czy potrzebują opieki w nagłych wypadkach, błędna ocena może mieć bezpośrednie konsekwencje dla bezpieczeństwa pacjentów.
Jednocześnie badacze podkreślają, że ich wyniki nie oznaczają, że konsumenci powinni całkowicie unikać narzędzi AI w zdrowiu. Zalecają jednak, aby w przypadku pogorszenia lub niepokojących objawów, takich jak ból w klatce piersiowej, duszność, ciężkie reakcje alergiczne czy zmiany w świadomości, zawsze natychmiast szukać pomocy medycznej. W przypadku myśli o samookaleczeniu, zaleca się kontakt z 988 Suicide & Crisis Lifeline lub udanie się do szpitala.
Źródło: https://www.icthealth.org/news/independent-study-questions-safety-of-chatgpt-health
Źródło: www.icthealth.org