인공지능(AI) 스타트업 업스테이지가 자체 개발한 AI 모델이 글로벌 AI 플랫폼 ‘허깅페이스’에서 운영하는 오픈 초거대언어모델(LLM) 리더보드에서 2위를 차지했다고 19일 밝혔다.
업스테이지는 이달 초 자체 구축한 모델을 허깅페이스의 리더보드에 제출해 성능을 평가받았다. 업스테이지의 모델은 메타가 오늘 새벽 저커버그가 직접 공개한 ‘라마2’ 70B 모델에 이어 평균 64.7점으로 2위를 차지했다. 30B(300억)매개변수 모델 최고의 순위로 라마2의 절반도 안되는 사이즈로 경쟁력 있는 결과를 만들었다.
업스테이지는 최초의 한국어 자연어이해(NLU) 평가 데이터셋인 ‘클루(KLUE)’를 직접 구축했다. 업스테이지가 완성한 최고 성능의 가진 작은 규모 AI를 통해 기업과 기관들은 정보 유출에 대한 부담 없이 생성AI를 자체적으로 구축하고 활용할 수 있다. 국내 다양한 산업의 기업들의 요구에 부응하고자 한국어 성능을 높이기 위해 한국어 데이터를 추가 학습시킬 예정이다.
김성훈 업스테이지 대표는 “이번에 입증된 업스테이지의 기술력을 바탕으로 국내 기업은 물론 전세계 모든 기업들이 AI를 편리하게 사용할 수 있도록 노력하겠다”고 말했다.
허깅페이스는 다양한 언어와 산업에 대한 거대언어모델을 제공하는 글로벌 AI 플랫폼으로 오픈AI의 챗GPT, 구글의 바드 등 초거대AI 모델들과 비견되는 300개가 넘는 세계 최고의 AI 모델들이 허깅페이스의 오픈 LLM 리더보드에서 경쟁하고 있다. 리더보드에서는 모델의 추론과 상식능력뿐 아니라 언어이해 종합능력과 환각(할루시네이션) 방지 등 생성AI 평가에 꼭 필요한 4가지 지표의 평가 점수 평균으로 최종 순위를 결정한다.
< 저작권자 ⓒ 서울경제, 무단 전재 및 재배포 금지 >
dorimi@sedaily.com
