#지난달 프로그래밍 도구 ‘커서(Cursor)’의 고객 지원용 인공지능(AI) 챗봇이 허구의 회사 정책을 사용자들에게 안내해 한바탕 소동이 벌어졌다. 챗봇은 “이제 한 대의 컴퓨터에서만 사용할 수 있다”는 잘못된 공지를 보냈고 이에 분노한 일부 고객은 계정을 해지했다. 이후 AI의 잘못된 응답임이 드러나자 사용자들의 불만은 더 커졌다. 커서의 최고경영자(CEO) 마이클 트루엘은 온라인 게시판에 “그런 정책은 없다”며 “AI 챗봇의 오류로 잘못된 안내가 나갔다”고 해명하며 부랴부랴 사태를 수습했다.
6일(현지시간) 뉴욕타임스(NYT)는 이 같은 인공지능의 '환각(hallucination)' 현상이 점점 더 심해지고 있다고 보도했다. AI 챗봇이 점점 더 많은 업무에 활용되고 있지만 그 정확성은 여전히 보장되지 않고 있다는 것이다.
최신 AI, '추론' 능력 키웠지만 정확성은 더 떨어져
NYT에 따르면 오픈AI, 구글, 중국 딥시크(DeepSeek) 등 주요 AI 기업이 내놓은 최신 ‘추론(reasoning)’ 모델들은 수학 능력은 향상됐지만 사실관계에서는 오히려 취약한 모습을 보였다.
특히 선두주자인 오픈AI의 최신 모델은 자체 테스트에서 최대 79%의 오류율을 보였다고 NYT는 전했다. 오픈AI에 따르면 최신 모델 ‘o3’는 유명인사 관련 질문에 답하는 테스트(PersonQA)에서 33%의 오류율을 보였으며, ‘o4-mini’는 48%에 달했다. 일반 상식 문제(SimpleQA)에서는 o3가 51%, o4-mini는 무려 79%의 오류율을 기록했다. 이는 이전 모델(o1)의 44%보다 높은 수치다.
AI 시스템은 방대한 데이터를 학습해 확률적으로 가장 그럴듯한 답을 예측하는 방식으로 작동한다. 이 과정에서 사실과 허구를 구분하지 못하고 ‘지어내는’ 현상이 발생한다. 이 때문에 전문가들은 “AI가 근본적으로 오류를 완전히 피할 수는 없다”고 지적한다. 아마르 아와달라 벡타라(Vectara) CEO는 “AI의 환각은 완전히 사라지지 않을 문제”라며 “이런 시스템은 항상 일정 비율의 오류를 내포할 수밖에 없다”고 말했다.
왜 더 똑똑해졌는데 더 틀릴까
전문가들은 AI의 환각 현상이 발생하는 배경에 대해 ‘추론 과정’을 거치면서 단계별로 오류가 축적됐기 때문이라고 지적한다. 최신 AI는 복잡한 문제를 단계별로 풀이하고 각 단계를 사용자에게 보여주는데, 이때 매 단계마다 잘못된 추론이 쌓이면 최종 답변도 왜곡될 수 있다는 것이다.
에든버러대 로라 페레즈-벨트라치니 연구원은 “AI는 특정 과업에 집중하는 동안 다른 기능을 잊어버리기도 한다”며 “이 때문에 일부 영역에서는 성능이 좋아지지만 다른 영역에서는 오류가 증가한다”고 설명했다.
NYT에 따르면 벡타라가 뉴스 기사 요약 테스트를 통해 측정한 환각율은 1~2%대까지 낮아졌다가 최신 추론 모델에서는 다시 증가했다. 오픈AI의 o3는 6.8%, 딥시크의 R1은 14.3%의 오류율을 기록했다. 이에 대해 오픈AI 대변인은 “모델의 정확성과 신뢰성을 높이기 위해 환각 문제 연구를 지속하고 있다”고 밝혔다.
한편 일부 전문가들은 AI의 환각 문제를 해결하기 위해 AI가 추론에 사용한 데이터 출처까지 추적해 분석하려는 시도를 하고 있다. 하지만 AI가 학습한 데이터량이 방대해 여전히 사각지대가 존재하는 것으로 알려졌다. NYT는 “AI 챗봇이 수학 문제나 코딩은 잘하지만 여전히 사실 여부를 구분하는 데는 취약하다”며 “검색, 법률, 의료 등 분야에서는 더욱 신중한 사용이 필요하다”고 경고했다.
< 저작권자 ⓒ 서울경제, 무단 전재 및 재배포 금지 >
diver@sedaily.com
