Europejski Akt AI nie zapewnia wystarczających zabezpieczeń dla opieki zdrowotnej
Badania wykazały, że Europejski Akt AI nie gwarantuje zgodności aplikacji AI z wartościami pacjentów i specjalistów medycznych.
Europejski Akt AI oferuje ważne zabezpieczenia przed ryzykiem związanym z sztuczną inteligencją, ale nie gwarantuje, że aplikacje AI będą zgodne z wartościami pacjentów i profesjonalistów w dziedzinie zdrowia. Takie wnioski płyną z badań holenderskich naukowców dotyczących systemu AI DECIDE, który ma wspierać lekarzy w identyfikacji zwiększonego ryzyka sercowo-naczyniowego.
Badania przeprowadził zespół interdyscyplinarny, w skład którego weszli przedstawiciele Uniwersytetu w Lejdzie, LUMC, Politechniki w Delft, Uniwersytetu Nauk Stosowanych w Rotterdamie oraz Holenderskiej Federacji Pacjentów. Główne pytanie dotyczyło tego, w jakim stopniu Europejski Akt AI rzeczywiście chroni wartości, które interesariusze uważają za istotne w medycznej AI.
DECIDE jako przykład praktyczny
Naukowcy wykorzystali system DECIDE jako studium przypadku. System ten jest rozwijany w celu wspierania lekarzy w wczesnym identyfikowaniu pacjentów z podwyższonym ryzykiem chorób sercowo-naczyniowych. DECIDE analizuje istniejące dane medyczne, takie jak elektroniczne rekordy pacjentów, aby wskazać potencjalne ryzyko sercowo-naczyniowe. System koncentruje się na osobach, które nie zostały jeszcze zdiagnozowane, ale dla których działania profilaktyczne mogą być korzystne.
Podstawową zasadą jest to, że AI nie podejmuje decyzji medycznych samodzielnie, lecz dostarcza informacji, które lekarze i pacjenci mogą wykorzystać podczas omawiania ryzyk zdrowotnych i możliwych kroków. Naukowcy przeanalizowali wcześniej zebrane dane jakościowe z warsztatów z udziałem różnych interesariuszy, w tym lekarzy, personelu praktyk oraz przedstawicieli pacjentów.
Wartości, które pojawiły się podczas tych spotkań, porównano z siedmioma zasadami zaufanej AI określonymi przez europejską grupę ekspertów ds. sztucznej inteligencji. Naukowcy zbadali następnie, w jakim stopniu te wartości są chronione przez Akt AI.
Ustawodawstwo nie obejmuje wszystkich wartości w opiece zdrowotnej
Analiza pokazuje, że Akt AI zawiera ważne zabezpieczenia, takie jak nadzór ludzki, przejrzystość i zapobieganie dyskryminacji. Niemniej jednak, według badaczy, te przepisy oferują jedynie częściową ochronę tego, co pacjenci i profesjonaliści w dziedzinie zdrowia uważają za istotne. Wynika to częściowo z faktu, że Akt AI koncentruje się głównie na bezpieczeństwie produktów i zapobieganiu szkodom. W sektorze opieki zdrowotnej istnieją również wartości, które są trudniejsze do przetłumaczenia na wymagania techniczne lub prawne.
Badacze wskazują na trzy dodatkowe obszary niepokoju. Pierwszy dotyczy pozytywnego podejścia do zdrowia i dobrostanu. System AI nie powinien jedynie zapobiegać szkodom, ale także rzeczywiście przyczyniać się do zdrowia i jakości życia pacjentów. Drugi obszar to relacja między dostawcą opieki zdrowotnej a pacjentem. Wspólne podejmowanie decyzji, zaufanie i spersonalizowane wsparcie są kluczowymi elementami dobrej opieki. Technicznie niezawodny algorytm nie może automatycznie zagwarantować tych aspektów.
Trzeci punkt dotyczy kontekstu i praktycznej zastosowalności rekomendacji AI. Ocena ryzyka jest mało wartościowa, jeśli lekarz nie ma wystarczająco dużo czasu na jej omówienie lub jeśli brakuje odpowiedniej opieki po diagnozie. W ten sposób badacze rozróżniają system, który spełnia wymagania prawne, od aplikacji, która może rzeczywiście funkcjonować odpowiedzialnie w codziennej praktyce medycznej.
Zwiększone obciążenie i nadmierna diagnoza
Gdy algorytm identyfikuje dużą liczbę pacjentów jako zagrożonych, może to prowadzić do dodatkowych konsultacji, testów diagnostycznych i skierowań. Ponadto, jeśli wiele alertów okazuje się bezpodstawnych, istnieje ryzyko wywołania niepotrzebnego niepokoju i nadmiernej diagnozy. Autonomia również odgrywa ważną rolę. Nie każdy pacjent chce być na bieżąco informowany o potencjalnych przyszłych zagrożeniach zdrowotnych. Aplikacja AI powinna zatem umożliwiać rezygnację z otrzymywania dodatkowych informacji lub działań następczych. Ponadto, wykorzystanie danych pacjentów wymaga starannej komunikacji dotyczącej prywatności, zgody i przetwarzania danych.
Badacze zauważają, że interesy pacjentów i profesjonalistów w dziedzinie zdrowia nie zawsze są w pełni zgodne. System, który jest atrakcyjny z perspektywy profilaktycznej, może jednocześnie obciążać lekarzy lub mieć niepożądane konsekwencje dla pacjentów. Dlatego ważne jest, aby te różne perspektywy były uwzględniane już na etapie rozwoju.
Umowy kontraktowe jako uzupełnienie
Jednym z istotnych zaleceń z nowego badania jest rola umów kontraktowych między instytucjami zdrowotnymi a deweloperami AI. Według badaczy takie umowy mogą zapewnić dodatkowe zabezpieczenia dla wartości, które nie są wystarczająco chronione przez Akt AI. Mogą one obejmować umowy dotyczące dostarczania zrozumiałych wyjaśnień wyników AI, wsparcia w ich interpretacji oraz odpowiedzialności stron zaangażowanych.
Umowy te nie zastępują istniejącego ustawodawstwa, ale mogą pomóc w zapewnieniu lepszego dostosowania technologii do obowiązków opiekuńczych profesjonalistów i oczekiwań pacjentów. Naukowcy podkreślają jednak, że ich analiza opiera się na danych jakościowych z Holandii, więc wyniki nie mogą być łatwo uogólniane na inne kraje lub systemy opieki zdrowotnej. Ponadto badania prawne koncentrowały się głównie na regulacjach dotyczących bezpieczeństwa produktów.
Odpowiedzialna AI zaczyna się od praktyki
Nadzór ludzki jest konieczny, ale niewystarczający, jeśli technologia nie spełnia odpowiednio potrzeb pacjentów i codziennej praktyki profesjonalistów w dziedzinie zdrowia. Kluczową lekcją jest zatem to, że odpowiedzialna medyczna AI nie jest wyłącznie wyzwaniem technicznym lub prawnym. Projektowanie procesów opieki, autonomia zawodowa, preferencje pacjentów oraz dostępność opieki po diagnozie również decydują o tym, czy aplikacja rzeczywiście przynosi wartość.
Europejski Akt AI stanowi ważną podstawę dla tego. Jednak, jak pokazuje badanie DECIDE, niezawodna AI w opiece zdrowotnej ostatecznie pojawi się tylko wtedy, gdy ochrona prawna będzie powiązana z wartościami i okolicznościami osób, które muszą z nią pracować.
Źródło: https://www.icthealth.org/news/european-ai-act-still-offers-insufficient-safeguards-for-healthcare
Źródło: www.icthealth.org