AI가 영상의학 전문의 수준으로 진단영상을 검증해 낸 것으로 나타났다.
16일(현지시간) 독일 쾰른 대학병원 영상의학과 로만 게르츠 박사팀은 북미영상의학회(RSNA) 저널 래디올로지(Radiology)에서 이 같은 결과를 얻었다고 밝혔다.
이를 위해 연구팀은 오픈AI의 거대언어모델(LLM) 인공지능 GPT-4와 다양한 경험 수준의 영상의학 전문의들을 대상으로 진단 영상 오류 검증 비교 실험을 진행했다.
연구팀은 2023년 6월부터 12월까지 한 병원에서 200건의 X-선 사진과 CT/MRI 영상을 수집하고, 이 중 100건에 누락·삽입·철자·방향 혼동·기타 등 5개 범주의 오류 150개를 의도적으로 삽입했다.
그런 다음 GPT-4와 영상의학과 선임 전문의 2명, 주치의 2명, 레지던트 2명에게 이들 진단 영상에서 오류를 찾아내도록 했다.
연구팀이 이들의 정확성과 속도, 비용 효율성 등을 비교한 결과 GPT-4는 오류 150개 중 124개를 찾아 오류 감지율 82.7%를 기록했다. 인간의 오류 감지율은 각각 영상의학 선임 전문의가 89.3%, 주치의 80%, 레지던트 80%로 나타났다. 특히 수석 전문의 중 1명은 94.7%(150개 중 142개)의 오류 감지율을 보였다.
GPT-4의 오류 감지율은 영상의학과 수석전문의 2명을 제외하면 가장 높은 수준이었다. 이는 GPT-4와 영상의학 전문의의 오류 감지율이 비슷한 수준임을 보여준다.
다만 오류 검증에서 GPT-4의 속도와 비용 효율성은 영상의학 전문의들보다 훨씬 높은 것으로 나타났다. GPT-4가 진단 영상 1건을 판독하는 데 평균 3.5초가소요됐다. 반면 이 연구에서 판독 속도가 가장 빠른 전문의의 판독 시간은 1건당 평균 25.1초였다.
또 GPT-4의 진단 영상 1건당 평균 보정 비용은 0.03달러였다. 비용 효율이 가장 높은 전문의가 건당 0.42달러인 점을 고려하면 비용은 약 10배 이상 차이를 보인다.
이 연구는 진단 영상 오류 검증에서 GPT-4와 사람 능력을 비교한 첫 연구로, 영상의학 보고서 작성의 정확성과 효율성 측면에서 AI의 잠재력을 보여준다고 연구팀은 밝혔다. 진단 영상 분석의 오류는 레지던트와 주치의 간 이견, 의사소통 부정확성, 많은 업무량 등에 의해 발생할 수 있다는 게 연구팀의 설명이다.
게르츠 박사는 "이 결과는 GPT-4가 진단 영상의 오류를 감지, 보정하는 업무에서 영상의학 전문의와 맞먹는 성능을 발휘하면서도 시간과 비용은 크게 줄일 수 있음을 보여준다"며 "GPT-4를 활용해 영상의학 보고서의 정확성을 높여 환자 치료를 개선할 수 있다는 점에서 의미가 크다"고 전했다.
< 저작권자 ⓒ 서울경제, 무단 전재 및 재배포 금지 >
savour@sedaily.com
