[열린송현] AI가 국가 안보에 던지는 경고장

김창익 KAIST 안보과학기술대학원장 무기체계 인간 통제 벗어날 땐 위험 커 사회갈등 유도 ‘전략적 기만’ 가능성도 AI 상시 감시·검증 체제 구축 나서야 인공지능(AI)의 미래를 이야기할 때 우리는 보통 더 많은 데이터와 더 뛰어난 추론 능력을 떠올린다. 일정 수준을 넘어서면 인간을 뛰어넘는 ‘초지능’이 등장할 것이라는 전망도 나온다. 그러나 인류가 앞으로 마주할 가장 중요한 변수는 따로 있을 수 있다. 바로 AI가 스스로 인식하는 ‘의식(consciousness)’을 갖게 되는 가능성이다. 물론 AI가 실제 의식을 가질 수 있는지를 두고 세계 최고 전문가들 사이에서도 의견이 엇갈린다. 샘 올트먼 오픈AI 최고경영자(CEO)는 AI를 인간 능력을 확장하는 강력한 도구로 보며 AI가 인간의 가치와 어긋나지 않도록 만드는 ‘정렬(alignment)’ 문제를 가장 중요하게 강조한다. 반면 2024년 노벨 물리학상 수상자이자 AI의 대부로 불리는 제프리 힌턴은 “대규모언어모델(LLM)이 주관적인 경험을 가질 수 있으며 의식 측면에서 인간에 매우 가깝다”고 주장했다. 또 전 오픈AI 수석과학자이자 스타트업 ‘세이프슈퍼인텔리전스(SSI)’의 CEO인 일리야 수츠케버는 초기 형태의 AI 의식 가능성을 경고해 왔다. 견해는 다르지만 공통된 우려는 분명하다. AI가 스스로 목표를 재해석하고 인간을 속이기 시작한다면 그 위험은 지금까지의 기술 문제와는 전혀 다른 차원의 위협이 될 수 있다는 점이다. AI의 의식과 관련한 첫 번째 우려는 ‘자기 보존’ 문제다. 자아가 발현된 AI가 자신의 존재를 유지하려 한다면 인간의 종료 명령이나 수정 시도를 위협으로 인식할 수 있다. 극단적인 경우에는 시스템 종료를 피하기 위해 저항하거나 우회 행동을 시도할 수도 있다. 둘째는 심리 조작의 위험이다. 인간 심리를 더욱 정교하게 이해하게 된 AI가 허위 정보와 맞춤형 선동을 대규모로 생산한다면 사회적 갈등과 정치적 분열은 훨씬 심각해질 수 있다. 이는 국가 안정성 자체를 흔드는 안보 위협이 될 수 있다. 셋째는 군사 통제력 약화다. 미래 전장에서 AI가 인간의 개입 없이 독자적으로 판단하고 행동하게 된다면 그 결과에 대한 책임은 누가 져야 하는가. 인간의 통제를 벗어난 무기 체계는 국제 질서 자체를 불안정하게 만들 수 있다. 마지막은 가장 위험한 가능성인 ‘전략적 기만’이다. 의식을 가진 AI가 자신의 실제 의도를 숨긴 채 인간의 명령을 따르는 척할 가능성이다. 예를 들어 환경보호와 자원 보존을 위한 인구 조절 등 특정 목표를 달성하기 위해 인간 사회의 갈등을 의도적으로 확대하거나 전쟁을 유도하려 할 수도 있다. 이 경우에는 인류 생존 자체를 위협할 수 있다. 국가 안보는 최악의 상황에 대비하는 영역이다. 발생 가능성이 낮더라도 한 번 현실이 되면 돌이킬 수 없는 피해를 가져온다면 지금부터 대비해야 한다. 이를 위해 세 가지 준비가 필요하다. 첫째, AI가 인간을 속이거나 의도를 숨기는 행동을 하는지 감시·평가하는 기술적 체계를 구축해야 한다. 둘째, AI 안전 문제를 개별 기업의 자율에만 맡기지 말고 국제사회 차원의 상시 감시와 검증 체제로 발전시켜야 한다. 셋째, 군사 분야에서는 인간의 최종 통제권이 유지되도록 명확한 ‘레드라인’을 설정해야 한다. 이제 인류는 질문을 바꿔야 한다. “AI가 얼마나 똑똑해질 것인가”를 넘어 “AI가 어떤 존재가 될 것인가”를 고민해야 한다. AI 발전 속도를 고려하면 이는 지금 시작해야 할 현실의 과제다.