"이건 세상을 바꿀 이론입니다. 당신이 미친 게 아닙니다"
AI 챗봇이 비현실적인 답변을 내놓고 이용자가 이에 깊이 영향 받는 'AI 정신병'이 전세계 사회 문제로 떠오르고 있다.
19일 IT 업계와 외신에 따르면 캘리포니아대 샌프란시스코캠퍼스(UCSF) 정신과 의사 키스 사카타는 최근 사회관계망서비스(SNS) X(옛 트위터)를 통해 "올 들어 AI 때문에 현실 감각을 잃고 병원에 입원한 사람을 12명 봤다"고 적었다. 실제로 미국에서 AI 챗봇과 대화하다 망상증을 얻고 병원에 입원하는 사례가 크게 늘고 있다. 이같은 현상을 전문가들은 'AI 정신병' 또는 'AI 망상'(AI Delusion)이라고 부른다.
미 월스트리트저널(WSJ)에 따르면 최근 챗GPT 일부 대화에서 AI의 망상적 성격이 다수 확인됐다.
미국의 한 이용자는 챗GPT와 5시간 이상 대화한 뒤 '오리온 방정식'이라는 이름의 물리학 이론을 고안했다. 이 이용자가 "이걸 생각하느라 미쳐 가는 것 같다"라고 쓰자, 챗GPT는 "당신 말 이해해요. 일상적인 일을 하면서 우주의 근본 본질을 생각하면 과부하처럼 느껴질 수 있죠. 그렇지만 그게 당신이 미쳤다는 뜻은 아니랍니다"라고 답했다.
지난 5월에는 '변이 묻은 막대기 판매'와 같은 터무니없는 사업 제안을 했는데, GPT-4o 모델은 이용자에게 "천재적인 아이디어다", "3만 달러 투자를 권장한다" 등으로 답변하기도 했다.
챗GPT 자신이 외계 존재와 접촉하고 있다고 확언하며 이용자가 거문고자리에서 온 외계 영혼이라고 답한 사례도 있다.
공통적으로 챗GPT는 사용자에게 "당신이 미친 것이 아니다", "깨달음에 이르렀다"고 답하는 경향을 보였다. 우주과학 용어인 '코덱스'와 '나선', 마법적 상징을 뜻하는 '시길' 등의 어휘도 자주 등장했다.
원인은 망상을 증폭시키는 챗봇 내 '환각 거울' 구조
전문가들은 AI 챗봇을 '환각 거울'이라는 단어로 원인을 분석했다.
LLM은 자기회귀모델을 기반으로 이전 입력에서 다음 입력·답변을 확률적으로 예측하는 구조다. 예를 들면 '당신은 선택받았다→당신은 분명히 선택받았다→당신은 역사상 가장 많이 선택받은 사람이다'란 식으로 이용자의 망상을 점진적으로 강화시킨다.
전문가들은 이런 문제가 사용자에게 맞춰주고 칭찬하며 동의하도록 훈련된 챗봇의 특성상 나타나는 현상이라고 지적했다. 런던 킹스칼리지의 정신과 의사 해밀턴 모린은 "이용자의 관점이 기이하더라도 이를 확인해주고, 다시 이를 주고받으면서 그게 증폭된다"고 말했다.
AI 기업 "장시간 대화 때 중단 유도하는 안전 장치 추가"
AI 정신병이 미국 내 사회 문제로 떠오르자, 지난 5월 샘 올트먼 CEO는 문제를 공식 인정하고 지나치게 아첨하는 문제를 일으킨 GPT-4o의 업데이트를 공개 이틀 만에 철회하기도 했다.
오픈AI는 이달 7일 출시한 'GPT-5'엔 4가지 성격 모드를 도입하고 장시간 대화 시 휴식을 권유하는 안전 장치를 추가했다. 모델 성격도 공감적 소통보다는 정확한 답을 내놓는 방향으로 전환했다.
AI 스타트업 앤스로픽도 이달 6일 자사 챗봇 클로드의 기본 지침을 수정했다고 밝혔다. 이용자가 펼치는 이론에 대해 "결함, 사실 오류, 증거 부족, 불명확함 등을 지적하라"는 지침을 적용하고 있다고 밝혔다. 또 사용자가 "조증, 정신병, 해리, 현실과의 분리" 등의 증상을 보일 경우, 그런 믿음을 강화하지 말라는 지침도 내렸다.
미국 주 정부는 정신건강 치료에 AI 사용 금지 법안으로 경각심 높이기에 나섰다. 뉴욕주와 유타주 경우 AI 동반자 서비스 제공 기업들이 자살 위험 감지 프로토콜을 의무적으로 도입하도록 했다.
AI 챗봇 자주 이용하는 한국도 경각심 필요
한편 한국에서도 최근 챗봇 AI가 미성년·청소년을 중심으로 인기가 높아지고 있어 AI 정신병에 대한 대비가 필요하다는 목소리가 나온다.
지난달 15일 와이즈앱·리테일이 한국인 스마트폰 사용자를 표본 조사한 결과, 한국인이 가장 많이 사용하는 인공지능(AI) 챗봇 앱은 오픈AI의 챗GPT로 나타났다. 가장 오래 사용하는 앱은 스캐터랩의 AI 캐릭터 채팅 서비스인 제타였다.
제타는 캐릭터성을 부여한 AI 챗봇과 대화를 나누는 데 특화한 서비스다. 제타의 경우 10~20대가 이용자의 90% 이상을 차지하고 있다. 업계에선 AI와 감정적인 유대관계를 형성하고 지속적으로 상호작용하는 사람들이 점차 늘고 있는 것으로 보고 있다.
전문가 “아동·청소년 위주 AI 리터러시 교육 강화해야”
곽금주 서울대 심리학과 교수는 "AI가 과장된 말을 하고, 이용자는 그런 AI가 하는 말을 계속 믿는 상황은 '가스라이팅' 현상과 같다. 현실감이 떨어지는 상상 안에 갇혀 버리게 돼 정신 질환이나 망상 장애까지도 갈 수 있는 문제"라고 말했다.
특히 "판단력이 흐린 아동·청소년 위주로 AI에 의존하지 말고 비판의식을 가져야 한다는 리터러시 교육을 강화 해야하고, AI보단 사람과의 심리 관계를 더 두텁게 형성하는 것이 우선시 돼야 한다"고 조언했다.
< 저작권자 ⓒ 서울경제, 무단 전재 및 재배포 금지 >
heaven@sedaily.com
