U nedavnoj studiji objavljenoj u The Annals of Family Medicine, istraživači su procijenili učinkovitost Chat Generative Pretrained Transformer (ChatGPT) u sažimanju medicinskih sažetaka za pomoć liječnicima. Studija je imala za cilj utvrditi kvalitetu, točnost i pristranost u sažetcima koje generira ChatGPT, pružajući uvid u njihov potencijal kao alata za probavu golemih količina medicinske literature usred vremenskih ograničenja s kojima se suočavaju zdravstveni radnici.
Visoke ocjene za kvalitetu i točnost
Studija je koristila ChatGPT za sažetje 140 medicinskih sažetaka iz 14 različitih časopisa, smanjujući sadržaj u prosjeku za 70%. Unatoč nekim netočnostima i halucinacijama otkrivenim u malom dijelu sažetaka, liječnici su sažetke visoko ocijenili za kvalitetu i točnost. Nalazi sugeriraju da ChatGPT ima potencijal pomoći liječnicima u učinkovitom pregledu medicinske literature, nudeći sažete i točne sažetke usred ogromne količine informacija.
Istraživači su odabrali 10 članaka iz svakog od 14 časopisa koji pokrivaju različite medicinske teme i strukture. Zadužili su ChatGPT da sažme te članke i ocijenili su generirane sažetke za kvalitetu, točnost, pristranost i relevantnost u deset medicinskih polja. Studija je otkrila da je ChatGPT uspješno sažimao medicinske sažetke u prosjeku za 70%, prikupivši visoke ocjene recenzenta liječnika za kvalitetu i točnost.
Implikacije za zdravstvenu skrb
Unatoč visokim ocjenama, studija je identificirala ozbiljne netočnosti i halucinacije u malom broju sažetaka. Te su pogreške bile u rasponu od izostavljenih kritičnih podataka do pogrešnih tumačenja dizajna studija, što bi potencijalno moglo promijeniti tumačenje nalaza istraživanja. Međutim, učinak ChatGPT-a u sažimanju medicinskih sažetaka smatra se pouzdanim, s uočenom minimalnom pristranošću.
Dok je ChatGPT pokazao snažnu usklađenost s ljudskim procjenama na razini časopisa, njegova izvedba u određivanju relevantnosti pojedinačnih članaka za određene medicinske specijalnosti bila je manje impresivna. Ovo odstupanje istaknulo je ograničenje ChatGPT-ove sposobnosti da točno identificira relevantnost pojedinačnih članaka unutar šireg konteksta medicinskih specijalnosti.
Studija pruža vrijedan uvid u potencijal umjetne inteligencije, posebno ChatGPT-a, u pomaganju liječnicima u učinkovitom pregledu medicinske literature. Iako ChatGPT obećava u sažimanju medicinskih sažetaka visoke kvalitete i točnosti, potrebna su daljnja istraživanja kako bi se riješila ograničenja i poboljšala njegova učinkovitost u određenim medicinskim kontekstima.
Buduća bi se istraživanja mogla usredotočiti na usavršavanje sposobnosti ChatGPT-a da prepozna relevantnost pojedinačnih članaka za određene medicinske specijalnosti. Osim toga, napori da se ublaže netočnosti i halucinacije u generiranim sažecima mogli bi dodatno poboljšati korisnost AI alata u zdravstvenim ustanovama.
Izvor: https://www.cryptopolitan.com/chatgpt-in-summarizing-medical-abstracts/