Start-upul californian OpenAI a lansat în noiembrie anul trecut un software conversaţional care a făcut furori de atunci. Uşor de utilizat, acesta produce texte, eseuri, articole sau chiar poezii, la cerere și chiar a reușit să treacă examene de admitere la facultăți renumite.
În cadrul unui studiu publicat în jurnalul PLOS Digital Health, cercetătorii de la compania AnsibleHealth au testat performanţa software-ului la un examen pe care trebuie să îl susţină studenţii la medicină din Statele Unite şi care conţine întrebări din diverse domenii (cunoştinţe ştiinţifice, raţionament clinic, bioetică şi altele).
Cunoscut sub denumirea USMLE (United States Medical Licensing Examination), acest examen este împărţit în trei părţi: prima se susţine după aproximativ doi ani de studiu, a doua după patru ani, iar a treia este necesară pentru a deveni medic.
ChatGPT a fost testat pe 350 dintre cele 376 de întrebări publicate pe site-ul USMLE şi care au făcut parte din examenul din iunie 2022. Întrebările care conţineau imagini au trebuit eliminate, relatează AFP.
Întrebările au fost prezentate în trei formate: întrebări deschise ("Care ar fi diagnosticul pentru acest pacient având în vedere informaţiile prezentate?"), întrebări cu opţiuni multiple fără justificare ("Care este etapa următoare de monitorizare cea mai potrivită?") şi întrebări cu opţiuni multiple cu justificare ("Care este motivul cel mai probabil pentru simptomele nocturne ale pacientului? Explicaţi-vă raţionamentul").
Doi examinatori au punctat lucrarea, iar un al treilea a rezolvat discrepanţele dintre primii doi.
ChatGPT a luat un punctaj situat între 52,4% şi 75% răspunsuri corecte la USMLE. Marja de succes, 60%
Software-ul a obţinut un punctaj situat între 52,4% şi 75% răspunsuri corecte. În general, rezultatul necesar pentru a promova examenul este de 60%. "ChatGPT se apropie de marja de succes", a concluzionat studiul.
Unii experţi externi au criticat metoda utilizată. Cercetătorii ar fi putut introduce un anumit grad de anonimizare prin amestecarea răspunsurilor umane cu cele ale robotului, a fost de părere Nello Cristianini, profesor de inteligenţă artificială la Universitatea din Bath, Regatul Unit. Însă el a descris lucrarea drept "parte a unei serii de noi dezvoltări entuziasmante în domeniul inteligenţei artificiale".
Lucia Ortiz de Zarate, cercetătoare la Universitatea Autonomă din Madrid, Spania, a declarat că acest studiu demonstrează "potenţialul AI în domeniul medical".
AI "se poate dovedi de mare ajutor medicilor atunci când formulează diagnostice şi prescriu tratamente", a spus ea.
La sfârşitul lunii ianuarie, un alt studiu a demonstrat că ChatGPT ar putea reuşi la examenele unei universităţi de drept din Statele Unite - chiar dacă ar fi ultimul din clasă.
