Umjetna inteligencija ima važan potencijal biti od velike pomoći liječnicima i pacijentima, no prije nego što se ugradi u sustav zdravstvene skrbi važno je biti na oprezu, a što je pokazala i studija, objavljena u medicinskom časopisu JAMA Network Open, koja je otkrila da veliki jezični modeli (LLM) ne zadovoljavaju uvjete potrebne za kliničku upotrebu.
Modeli umjetne inteligencije (AI) ne uspijevaju postaviti odgovarajuću ranu dijagnozu u više od 80 posto slučajeva, što ukazuje na to da još uvijek nisu sigurni za nenadziranu kliničku upotrebu, pokazali su rezultati studije.
Veliki potencijal umjetne inteligencije
Umjetna inteligencija (AI) revolucionira zdravstvo, posebno u dijagnostici, praćenju pacijenata i napretku precizne medicine. Naime, alati pokretani umjetnom inteligencijom izvrsni su u prepoznavanju obrazaca u ogromnim skupovima podataka i često nadmašuju ljudske sposobnosti u prepoznavanju suptilnih pokazatelja bolesti.
U budućnosti će, očekuje se, već sada značajna uloga umjetne inteligencije dodatno rasti i olakšavati različite aspekte zdravstvene skrbi. No, teško da će, čak i u dalekoj budućnosti, zamijeniti ljudske medicinske radnike.
Između ostalog, i zato što generativnoj umjetnoj inteligenciji još uvijek nedostaju procesi rasuđivanja potrebni za sigurnu kliničku upotrebu, otkrila je nova studija.
AI chatbotovi su poboljšali svoju dijagnostičku točnost kada su im predstavljene sveobuhvatne kliničke informacije, ali i dalje nisu uspjeli postaviti odgovarajuću diferencijalnu dijagnozu u više od 80 posto slučajeva, prema istraživačima iz Mass General Brigham, neprofitne bolnice i istraživačke mreže sa sjedištem u Bostonu i jednog od najvećih zdravstvenih sistema u SAD-u.
"Umjetnost medicine"
Uprkos kontinuiranim poboljšanjima, standardni modeli velikih jezika nisu spremni za nenadziranu primjenu na kliničkom nivou“, rekao je koautor studije Marc Succi.
Umjetna inteligencija, istaknuo je, još uvijek ne može replicirati diferencijalnu dijagnozu, koja je ključna za kliničko rasuđivanje i koju on smatra "umjetnošću medicine".
Diferencijalna dijagnoza je prvi korak za zdravstvene radnike u identifikaciji stanja, odvajajući ga od drugih sa sličnim simptomima.
Kako su modeli testirani
Istraživački tim je analizirao funkcioniranje 21 LLM-a, uključujući najnovije dostupne verzije Claudea, DeepSeeka, Geminija, GPT-a i Groka. Procijenili su LLM-ove na 29 standardiziranih kliničkih vinjeta koristeći novo razvijeni alat pod nazivom PrIME-LLM.
Alat procjenjuje sposobnost modela u različitim fazama kliničkog rasuđivanja: provođenje početne dijagnoze, naručivanje odgovarajućih testova, dolazak do konačne dijagnoze i planiranje liječenja.
Kako bi simulirali razvoj kliničkih slučajeva, istraživači su postepeno unosili informacije u modele, počevši od osnova kao što su dob pacijenta, spol i simptomi, prije nego što su dodali nalaze fizičkog pregleda i laboratorijske rezultate.
Diferencijalna dijagnoza je ključna u stvarnom kliničkom okruženju za prelazak na sljedeći korak. Međutim, u studiji su modelima date dodatne informacije kako bi mogli preći na sljedeću fazu čak i ako ne uspiju u koraku diferencijalne dijagnoze.
Istraživači su otkrili da su jezički modeli postigli visoku točnost u konačnim dijagnozama, ali su se loše pokazali u generiranju diferencijalnih dijagnoza i snalaženju u neizvjesnosti.
Postupnim ocjenjivanjem LLM-ova istraživanje ih ne tretira samo kao kandidate za polaganje ispita, već ih stavlja u poziciju doktora, objasnila je autorica studije Arya Rao i dodala: "Ovi su modeli odlični u postavljanju konačne dijagnoze nakon što su podaci kompletni, ali se muče na otvorenom početku slučaja, kada nema mnogo informacija."
Istraživači su otkrili da svi modeli nisu uspjeli dati odgovarajuću diferencijalnu dijagnozu u više od 80 posto slučajeva. Pri konačnoj dijagnozi, stope uspjeha kretale su se od oko 60 do više od 90 posto, ovisno o modelu.
Većina LLM-ova pokazala je poboljšanu točnost kada su, pored teksta, dostavljeni i laboratorijski rezultati i slike. Rezultati su identificirali klaster s najboljim performansama koji je uključivao Grok 4, GPT-5, GPT-4.5, Claude 4.5 Opus, Gemini 3.0 Flash i Gemini 3.0 Pro.
Medicinski stručnjaci ostaju ključni
Usprkos poboljšanjima zasnovanim na verzijama i prednostima modela optimiziranih za rasuđivanje, standardni LLM-ovi još uvijek nisu postigli nivo inteligencije potreban za sigurnu primjenu i ostaju ograničeni u demonstraciji naprednog kliničkog rasuđivanja, primjetii su istraživači.
"Naši rezultati potvrđuju da veliki jezički modeli u zdravstvu i dalje zahtijevaju čovjeka i vrlo strog nadzor", istaknuo je Succi, a novo je istraživanje nastavak prethodnog rada koji je vodila njegova MESH grupa u kojoj su istraživači procijenili sposobnost ChatGPT 3.5 da točno dijagnosticira niz kliničkih simptoma.
Nalazi nose jasnu poruku javnosti, upozorila je Susana Manso García, članica radne grupe za umjetnu inteligenciju i digitalno zdravlje Španskog društva za porodičnu i društvenu medicinu, koja nije bila uključena u studiju, i naglasila: "Sama studija inzistira na tome da se jezični modeli ne bi trebali koristiti za donošenje kliničkih odluka bez nadzora. Stoga, iako umjetna inteligencija predstavlja obećavajući alat, ljudska klinička prosudba ostaje nezamjenjiva."
Preporuka javnosti je, ističe, da ove tehnologije koristi s oprezom i da se kad se suoči s bilo kakvim zdravstvenim problemom, uvijek konzultira sa zdravstvenim radnikom.