상업용으로도 사용할 수 있는 메타의 차세대 오픈소스 거대언어모델(LLM) ‘라마2(Llama2)’가 기대감 속에 화려하게 데뷔했지만 언어모델들의 성능을 평가하는 허깅페이스의 성능 평가 순위에서 1위를 차지 하는 데는 실패했다. 출시 직후 순위 최상단을 차지했지만 머지않아 2위 모델에 자리를 내줘야 했기 때문이다. 메타의 완벽한 데뷔를 막아선 것은 국내 인공지능(AI) 스타트업 업스테이지의 자체 모델이다.
메타의 그림을 망친 주인공은 업스테이지가 ‘라마1’을 기반으로 자체 개발한 모델이다. 라마1은 이름에서 보듯 라마2의 직전 버전 모델이다. 업스테이지 모델은 종합 점수 67점으로 66.8점을 기록한 라마2를 꺾고 22일 기준 최고 성능을 기록한 모델로 등재돼 있다.
파라미터 절반 못미치는데 라마2 넘은 비결은?
파라미터(매개변수) 개수가 300억 개로 라마2(최대 700억개)의 절반보다 적은 업스테이지 모델이 메타의 최신 모델을 꺾은 것에 국내 업계는 고무적인 반응을 보이고 있다. 파라미터란 인간 뇌로 치면 시냅스에 해당하는 개념으로 통상 파라미터 수는 모델 성능에 비례한다. 오픈AI의 모델 중 파라미터 수가 공개된 모델로는 최신인 GPT-3.5는 파라미터가 1750억 개에 달하며 GPT-4의 경우 조 단위에 이를 것이라는 추측도 나온다.
절반보다 적은 파라미터로도 높은 성능을 구현한 비결의 핵심은 학습 데이터 품질로 거론된다. 업스테이지 모델은 라마1을 파인튜닝(미세조정)해 만들어졌는데 이 과정에서 사용된 학습 데이터 품질을 정교화한 것이 노하우로 꼽힌다.
모델의 성능에는 파라미터 수뿐만 아니라, 학습 데이터의 개수, 품질 등이 종합적으로 영향을 미친다. 업스테이지는 특히 데이터 품질을 통해 적은 파라미터 수로도 높은 품질을 구현한 사례다. 이 회사는 올해 세계적 권위의 AI 학회 ‘ICML 2023’ 중 데이터 중심의 기계학습(머신러닝) 연구에 관한 워크샵인 DMLR(Data-centric Machine Learning Research)에서 7편의 논문을 발표했다. AI 학습 데이터를 효과적으로 구축하는 방법론에 연구 역량을 집중하고 있다.
보안·비용 부담 적은 sLLM…언어모델 시장 메기될까
이렇듯 기존 빅테크들의 대형 모델과 대비돼 모델 크기를 크게 줄인 것들을 작은(small) LLM이라는 뜻으로 통산 ‘sLLM’으로 통칭한다. sLLM은 크기가 작으면서 똑똑한 모델이라는 의미 외에도, 보안과 비용을 고민하는 기업에게 사업적으로도 중요한 시사점을 준다. 수천억 개 파라미터의 모델을 사용하려면 엄청난 컴퓨팅 비용이 들지만 sLLM은 줄어든 파라미터 수 만큼 비용을 줄이면서도 일정 성능을 보장한다. 보안에도 유리하다. 크기가 작아진 만큼 기업들은 자체 서버에 직접 모델을 설치해 사용할 수 있는 선택지가 생기기 때문이다.
향후 sLLM 시장은 더욱 확대될 것으로 전망된다. 업역을 불문하고 기업들이 LLM을 통합해 자사 서비스 고도화에 나서기 때문이다. 이러한 높은 수요에 어울리지 않는 비싼 비용이 계속 요구된다면, 작고 똑똑한 sLLM에 대한 시장의 니즈는 더욱 높아질 가능성이 높다. 연구계에서도 대형 파운데이션 모델의 컴퓨팅를 대체할 수 있는 작은 모델에 대한 고민이 계속될 것이며, sLLM을 보고 시장에 뛰어드는 기업들도 더 많아질 것으로 전망된다. 게다가 이제 막 상업적으로도 활용 가능한 라마2까지 나오면서 이 모델을 활용한 파생 모델들도 조만간 모습을 드러내게 된다면 sLLM의 파급력이 한층 강해질 것으로 업계는 전망하고 있다.
< 저작권자 ⓒ 서울경제, 무단 전재 및 재배포 금지 >
hjin@sedaily.com
