하이퍼클로바X, 한국판 성능평가서 오픈AI·구글 제쳤다

한반도 지리·국내법 평가 등 포함

로컬정보 위주 분야서 활용 기대

네이버가 개발한 거대언어모델(LLM) ‘하이퍼클로바X’가 한국에 특화한 문제 해결 능력에서 오픈AI와 구글의 LLM 보다 우수한 성능을 보인 것으로 나타났다.

네이버클라우드는 ‘하이퍼클로바X’가 한국판 인공지능(AI) 성능 평가 체계 ‘KMMLU’에서 오픈AI·구글의 생성형 AI 보다 높은 점수를 기록했다고 27일 밝혔다.

KMMLU는 국내 대표 오픈소스 언어모델 연구팀인 ‘해례’가 이끄는 AI 성능 평가 지표 구축 프로젝트다. 인문학, 사회학, 과학·기술 등 45개 분야에서 전문가 수준의 지식을 묻는 3만 5030개의 질문으로 구성돼 있다. 평가 문항은 수학적 추론 능력과 같이 전세계 공통으로 적용 가능한 지식을 묻는 비중이 약 80%, 한반도 지리·국내법 등 한국 특화 문제 해결 능력을 평가하기 위한 비중이 20%로, AI의 보편적 능력과 로컬 지식을 고르게 측정해 한국 사용자에게 유용한 AI를 종합적으로 판단할 수 있다. 또한 KMMLU는 한국어 원본의 시험 문제들로 구성돼 국내외 AI의 한국어 이해 역량도 정확하게 평가할 수 있다.



KMMLU 연구 논문에 따르면 하이퍼클로바X는 오픈AI의 ‘GPT-3.5 터보’나 구글의 ‘제미나이-프로’ 보다 높은 점수를 기록했다. 특히 일반 지식과 한국 특화 지식을 종합한 전반적인 성능이 글로벌 빅테크의 AI와 경쟁할 수 있는 수준임이 확인됐다. 한국 특화 지식 기준으로는 오픈AI의 ‘GPT-4’ 보다도 높은 점수를 기록해 교육·법률 등 로컬 정보의 중요성이 큰 산업 분야에서는 하이퍼클로바X가 가장 유용할 수 있다는 점을 증명했다.

네이버클라우드는 KMMLU를 통해 입증된 성능 경쟁력을 바탕으로 하이퍼클로바X를 보안과 성능을 모두 갖춘 ‘소버린 AI' 솔루션으로 발전시켜나가겠다는 계획이다. 소버린 AI는 국가의 데이터 주권과 규제 준수를 보장하기 위해 개발된 AI 기술을 의미한다. 이를 위해 네이버클라우드는 지난해 10월 고객사가 폐쇄된 사내망에서 하이퍼클로바X를 사용할 때 데이터 유출을 방지할 수 있는 하이브리드 클라우드 서비스 ‘뉴로클라우드 포 하이퍼클로바X’를 출시한 바 있다. 또 네이버클라우드는 KMMLU를 설계하는 과정에도 참여해 AI 모델들의 한국어 이해 능력을 객관적으로 평가함으로써 우수한 성능의 AI가 한국에서 만들어질 수 있는 환경을 조성하는 데 기여했다는 평을 받았다.

뿐만 아니라 네이버클라우드는 2021년에는 30여곳의 기업 및 대학의 자연어처리 전문가들과 함께 한국어 자연어 이해 벤치마크 ‘KLUE’를 구축했다. 지난해에는 사회과학과 법학 등 여러 학문 분야와의 협력 연구를 통해 국내 초대규모 언어모델의 신뢰성 향상을 위한 한국어 데이터셋을 공개했다. 네이버클라우드는 앞으로 다양한 기업용 솔루션도 선보일 계획이다.

성낙호 네이버클라우드 하이퍼스케일 AI 기술 총괄은 “하이퍼클로바X는 세계 공통의 보편 지식에 한국 특화 문제 해결 능력을 더한 소버린 AI로 우수한 성능과 강력한 보안 기능을 바탕으로 국내 산업계 전반에서 도입이 이뤄지고 있다”며 “자국어 중심 AI에 대한 전세계적 수요가 관찰되는 만큼 한국에서 확인한 소버린 AI의 경쟁력을 바탕으로 향후 글로벌 시장 진출에도 속도를 낼 것”이라고 말했다.