크래프톤(259960)은 대규모 언어 모델(LLM) 기반 AI 에이전트의 게임 수행 능력을 평가할 수 있는 벤치마크 ‘오락’(Orak)을 공개했다고 16일 밝혔다.
오락은 게임 환경에서 AI의 상황 인식과 판단, 행동 결정 과정을 정량적으로 분석할 수 있는 평가 체계다. 액션, 어드벤처, 역할수행게임(RPG), 시뮬레이션, 전략, 퍼즐 등 총 6개 장르의 대중적인 게임을 기반으로 설계됐다. CPC를 포함한 AI 에이전트의 게임 능력을 반복적으로 검증할 수 있어 AI와 함께 즐기는 새로운 게임 경험의 질을 향상하는데 기여할 것으로 예측된다. 벤치마크 명칭은 쉬는 시간에 여러 가지 방법으로 기분을 즐겁게 하는 일을 의미하는 오락(娛樂)에서 착안다.
이번 체계에는 크래프톤과 엔비디아가 공동 개발한 ‘CPC’(Co-Playable Character)를 통해 축적한 AI 설계 경험이 반영됐다.
크래프톤은 오락을 통해 AI 기술 연구의 새로운 기준을 제시한다는 목표다. 향후 게임 산업을 넘어 다양한 산업 분야로 연구를 확장할 예정이다. 또 LLM 파인튜닝(미세조정)용 데이터셋도 함께 제공한다. 연구자들은 이를 활용해 사전 학습된 LLM을 실제 게임 환경에 맞게 적용하고 최적화할 수 있다.
이강욱 크래프톤 딥러닝 본부장은 “오락은 크래프톤의 선행 연구와 노하우가 집약된 게임 특화형 LLM 벤치마크로, 이를 기반으로 향후 LLM 에이전트 설계 역량을 겨루는 대회도 기획 중이다”며 “앞으로도 게임 분야에 최적화된 LLM 기술을 지속적으로 고도화해 AI를 통한 게임 플레이 경험의 혁신을 주도해 나가겠다”고 말했다.
한편 세계 최고 권위의 AI 학회인 ICLR과 ICML에 올해 크래프톤이 제출한 논문 10편이 채택됐다. 이 중 3편은 ICLR 스포트라이트에 선정되어 글로벌 AI 연구 생태계에서도 주목받고 있다.
< 저작권자 ⓒ 서울경제, 무단 전재 및 재배포 금지 >
kim@sedaily.com
