Používání jakýchkoli nástrojů umělé inteligence [AI] ve zdravotní péči bez ověření jejich kvality a důvěryhodnosti může skončit chaosem třeba už v ambulancích lékařů. Ani Google či OpenAI Health aplikace nejsou ověřené.
Na riziko, které s sebou nesou široce dostupné AI nástroje, aplikace, které se zaměřují i na zdravotní péči, většinou ale bez jakékoli certifikace toho, že jde o ověřený a bezpečný zdroj informací, upozorňuje Česká asociace umělé inteligence [ČAUI].
„Jakmile AI jakýmkoli způsobem ovlivňuje klinické rozhodování, jsme v režimu klinické rozhodovací podpory. A tam už bez certifikace zdravotnického prostředku podle MDR nemá co dělat,“ vysvětluje Matěj Misař, předseda zdravotnické sekce ČAUI a člen výboru pro AI na ministerstvu zdravotnictví.
Dodává, že velké modely pracující s umělou inteligencí a se zaměřením na zdravotnictví stále nemají žádnou oficiální kontrolu. Ta by jim stejně jako je tomu u jiného zdravotnického prostředku udělila certifikaci jako doklad toho, že jde o bezpečný nástroj.
„Je fakt, že si již dnes někteří ve zdravotnictví vypomáhají s dotazy na ChatGPT. Je to také cesta nebezpečná, protože může být vysoce riziková pro pacienty. A snadno vytvářet nesplnitelná očekávání,“ vysvětluje Misař rizika používání nástrojů AI v běžné zdravotní praxi, aniž by je někdo oficiálně kontroloval.
AI Health bez kontroly jako sněhová koule
Stejně jako v jiných oborech i ve zdravotnictví, jak se ukazuje, chytrá inteligence, tedy nástroje a aplikace pracující se sesbíranými daty, rychle předhánějí regulatorní úřady i samotnou praxi. A to, pokud se rychle nezareaguje, může skončit velkým chaosem.
„Mám obavu z toho, co se stane, až budou ‘health’ modely běžně v ruce každému. Začne přibývat falešný klid, zbytečná panika a víc konfliktů v ordinacích,“ upozorňuje Misař.
Česká společnost pro AI v medicíně je jedna z prvních v Evropě
Lidé si pak nechají stanovit diagnózu například od chata z nějaké i volně dostupné aplikace. Podobně jako se dnes třeba mladí už docela běžně radí s chatem o tom, co si vzít ráno na sebe nebo jak si nechat ostříhat vlasy. Jenže, jak upozorňuje Misař, ve zdravotnictví jde o vážnou věc s rizikem i nevratných dopadů a vyvolání sporů a chaosu v ordinacích lékařů.
„Jednou to [sdělení AI, pozn. red.] člověka uklidní a on přijde pozdě. Podruhé ho to vyděsí a pojede zbytečně na pohotovost. A potřetí to zhorší důvěru mezi pacientem a lékařem,“ vysvětluje až nevratné dopady nahodilého používání AI ve zdravotní péči Misař.
Ministr Vojtěch odkryl jména svých poradců, převažují IT experti
Potřeba je proto podle něj rychle zareagovat. A zavést certifikaci takových aplikací a dalších nástrojů AI, aby byly bezpečné a důvěryhodné pro zdravotníky i širokou veřejnost, tedy pacienty. Což platí jak pro zdravotnictví, tak sociální oblast [více zde, pozn. red.].
Necertifikované AI nástroje maximálně v administrativě
Na druhou stranu Misař i říká, že umělá inteligence jednoznačně posouvá medicínu a celé zdravotnictví dopředu. A není podle něj cílem AI snad brzdit. Naopak považuje za nutné podporovat takzvaně chytré nástroje v administrativě i zdravotní diagnostice. Avšak jejich zavádění do praxe má mít jasná pravidla, probíhat v kontrolovaném prostředí a s jasnou odpovědností, shrnuje.
„Nejde jen o to, když AI řekne ‘tohle je diagnóza’. Stačí, když začne doplňovat nebo přepisovat klinický text tak, že mění význam, nebo začne navrhovat další vyšetření a léčbu. To už je klinika a musí to podléhat pravidlům,“ vysvětluje, kde je hranice klinické praxe, která už si žádá ověření AI Health.
Zároveň upozorňuje, že ani nástroje těch největších globálních firem, jako jsou OpenAI, Anthropic nebo Google, nemají certifikaci zdravotnického prostředku.
Riziko je, že někteří lidé prostě vypnou mozek, říká expert na AI
Tyto a další necertifikované generativní nástroje se dají podle Misaře ve zdravotnictví využít maximálně v administrativě. To znamená například při přepisu textu. Anebo dohledání zdrojů. Ale už určitě ne v doporučení, diagnóze, nebo dokonce u návrhu léčby.
Veškeré zásahy do zdravotní dokumentace pacienta a toho, co jej ovlivňuje nebo by mohlo ovlivnit, musí projít kontrolou a schválením lékaře. V praxi může jít například o hodnocení RTG či CT snímků AI přístrojem, kdy konečné hodnocení ale je vždycky na lékaři. Protože ten, nikoli AI přístroj za závěr vyšetření stejně jako nastavení léčby nese odpovědnost.
–VRN–
