구글의 최신 대규모언어모델(LLM) 제미나이3가 공개 직후 벤치마크(성능 평가)상 여타 LLM을 압도하며 정보기술(IT) 업계의 뜨거운 화두로 떠올랐다. 전문가들은 생성형 인공지능(AI) 시장이 개화하고 3년 만에 구글이 오픈AI의 기술력을 추월한 점에 주목하며 비정형 데이터 확보 역량과 조직 유연성이 구글에 승리를 안겼다고 평가한다.
3일 LLM 벤치마크 플랫폼 LM아레나에 따르면 제미나이3는 277개 AI 모델 중 종합 벤치마크 순위에서 최상단에 올라 있다. LM아레나는 명령어 수행, 전문성, 수학 실력 등 7개 성능 지표별 순위를 매겨 종합 순위를 도출한다. 제미나이3는 7개의 지표 중 3개 지표에서 1위를 따냈지만 GPT-5.1은 세부 지표 중 어느 것에서도 1위를 거머쥐지 못한 채 종합 순위 6위에 머무르고 있다.
LLM 평가의 주요 비교 준거인 추론 영역에서도 제미나이3가 객관적인 우위를 점하고 있다. 미국의 스타트업 스케일AI가 고안한 인류마지막시험(HLE)에서 제미나이3의 정답률은 37.5%로 40개 LLM 중 1위다. 반면 GPT-5.1의 HLE 정답률은 23.7%로 공동 3위다. HLE는 2500여 개의 고난도 학술 문제로 AI의 지능과 추론이 얼마나 사람과 유사한지 가리는 시험이다.
AI 전문가들은 이번 제미나이3의 압도적인 성능을 두고 “한두 요인으로 빚어진 결과물이 아니다”라고 입을 모았다. 특히 여러 전문가가 공통으로 꼽은 요인은 비정형 데이터다. 다른 AI 개발사는 공개된 데이터만 LLM 학습 데이터로 쓸 수 있지만 구글은 웹에 드러나지 않는 각종 비정형 데이터를 활용할 수 있다. 국내 AI 검색 서비스 개발 스타트업 라이너의 김진우 대표는 “구글은 지난 수십 년간 검색·광고·유튜브 등에서 쌓은 방대한 사용자 행동 데이터 기반의 생태계를 틀어쥐고 있다”며 “구글 생태계에 모이는 데이터 분량이 오픈AI를 비롯한 다른 기업이 수집하는 데이터 분량보다 클 수밖에 없다”고 진단했다.
비정형 데이터 중에서도 구글 앱 사용자 서비스 이용 패턴이 LLM 학습의 핵심 자원이라는 의견이 지배적이다. 생성형 AI가 사용자의 숨겨진 의도를 파악해 응답하기 위해서는 맥락을 이해하는 능력이 필수적이다. 이 맥락 이해 능력을 개량하는 데 필요한 자산이 서비스 이용 패턴 데이터다. 김덕중 퍼브 AI연구소장은 “과거에는 정형화된 컴퓨터 파일이 중요하게 여겨졌지만 AI 시대에는 비정형 데이터의 값어치가 높다”며 “구글이 각종 앱에서 확보한 비정형 데이터는 AI의 추론 능력을 끌어올리는 가장 좋은 비료”라고 비유했다.
구글 특유의 유연한 조직 관리가 빠른 실행력으로 이어져 LLM 대결의 판도를 바꿨다는 분석도 있다. 2022년 11월 챗GPT가 대중에 공개되자 구글은 이듬해 3월 생성형 AI 바드(제미나이의 전신)를 출시하며 맞불을 놓았다. 2023년 3월 오픈AI가 GPT-4를 출시하며 구글의 추격을 따돌리자 구글은 한 달 후 딥마인드와 구글 리서치 산하 AI 개발 조직을 합병하며 LLM 총력전에 돌입했다. 챗GPT 공개 후 6개월이 채 안 되는 기간에 이 모든 사업 추진이 속전속결로 진행됐다.
구글코리아에서 사업개발매니저로 일했던 조여준 더벤처스 최고투자책임자(CIO)는 구글의 속도전이 가능했던 비결에 대해 “구글의 큰 특징은 틀에 박힌 조직도가 없다는 점”이라며 “실무진은 소속 팀에 상관없이 언제든 프로젝트 단위로 뭉쳐 일하다 다시 흩어질 수 있다”고 짚었다. 조 CIO는 “특정 위기 상황에 봉착해 시급한 신사업이 필요할 때 구글은 관료주의식 조직 구조에 얽매이지 않는 덕에 빠른 대응이 가능하다”고 설명했다.
< 저작권자 ⓒ 서울경제, 무단 전재 및 재배포 금지 >
teo@sedaily.com
