딥시크 쇼크 > 이슈 : 서울경제

전체서비스

문화·스포츠

영상·포토

서경스타

스페셜 컨텐츠

이용안내

AI서버 한대당 6억…최적 조합으로 구축비용 줄인다 [스케일업리포트]

산업 중기·벤처 2025.04.09 17:35:49

생성형 인공지능(AI) 붐 이후 AI 모델의 학습과 추론에 필수적인 엔비디아의 그래픽처리장치(GPU)가 품귀 현상을 빚자 많은 기업들은 ‘묻지마 사재기’를 시작했다. 일단 확보해놓고 후에 고민해보자는 심리였다. GPU와 서버 구매량을 늘리다 보니 고민이 생긴 부분은 ‘투자 대비 회수’였다. GPU 8장이 들어가는 서버가 대당 5억~6억 원 정도인데 투자금에 비해 활용도가 떨어진다는 게 많은 기업들이 겪는 애로사항이다. AI인프라 스타트업 텐은 이 같은 고민을 가진 기업들을 위해 최적의 AI 인프라 조합을 추천해준다. 뿐만 아니라 AI 모델이 학습을 할 때는 GPU를 하나로 묶어서 ‘최대 용량’으로 가동하고 추론 시에는 다시 이를 분할해 ‘최소 활용’을 돕는 역할을 한다. 국내 경쟁사로는 유일하게 래블업이 언급되는데 전 세계적으로도 AI인프라 스타트업은 드물다는 게 업계의 전언이다. “저희는 다양한 AI 인프라 구성을 표준화해서 최적의 레시피를 여러 개 만들어 놓고 고객별로 가장 좋은 레시피를 제안합니다.” 오세진 텐 대표는 9일 서울 역삼동 사옥에서 진행한 인터뷰에서 텐의 역할을 이 같이 정의했다. 업계에서는 이를 ‘AI 오케스트레이션(Orchestration)’이라고 표현한다. 원하는 AI 모델의 사양과 활용 용도에 따라 필요한 하드웨어와 인프라의 조합을 추천하고 세팅해 바로 활용할 수 있도록 도와주는 것을 의미한다. 이를 위해 GPU 분야에서는 엔비디아와 고성능 컴퓨팅(HPC) 스토리지 분야에서는 IBM, 넷앱과 서버 OEM의 경우 휴렛패커드, 델 등과 파트너십을 체결했다. 새로운 제품이 나오면 국내에서 이를 가장 먼저 써보고 최적의 조합을 마련한다. 텐의 고객군은 크게 두 종류다. 첫 번째는 이미 AI인프라를 확보하고 있지만 관리에 어려움을 느끼는 쪽이다. 실무 부서가 계속 투자를 해달라고 해서 서버당 5억~6억 원을 호가하는 장비를 구입했지만 이를 제대로 쓰고 있는지 점검하기는 어려워 텐을 찾는 이들이다. 두 번째 고객은 새로 인프라를 구축하기 위해 찾아오는 기업이다. 이를 테면 메타의 라마(Llama) 모델을 활용한 자체 시스템을 운영하고 싶은데 트래픽이 얼마나 필요한지, 필요한 트래픽을 견디기 위해서 확보해야 하는 최소한의 인프라는 어느 정도인지를 파악하려고 하는 고객이다. 텐이 강점을 보이는 영역은 AI 모델 학습을 위해 여러 개의 GPU와 노드를 ‘묶어서’ 하나처럼 작동하게 해 최대한의 성능을 내도록 하는 것이다. 동시에 AI 추론의 경우 적은 GPU 자원으로도 가능하도록 GPU를 분할해서 쓰게 하는 방식이다. 쉽게 말해 학습 단계에서는 GPU 가동률을 최대한 높이고 AI 추론·운영 단계에서는 최소로 인프라를 쓰게해 ‘경제적 효율성’을 달성하게 하는 것이다. 올 1월 중국의 딥시크가 AI 추론 영역에서 저비용으로도 좋은 성과를 낸 뒤로 AI 추론 모델에 대한 수요가 빠르게 커졌다. 특히 GPU 1개를 100분의 1 단위까지 분할해 사용할 수 있는 텐의 기술이 주목 받으면서 투자자들도 반응했다. 이를 테면 동시에 여러 그룹이 AI 추론 작업에 나선다고 하면 이들을 위해 GPU 1개당 100개의 블록을 나눠서 일정 구역을 우선순위, 중요도에 따라 배분하는 것이다. 오 대표는 “GPU 분할 기능을 통해 서버 자원의 10분의 1만 활용해도 서비스 운영이 가능하다”며 “비용을 최대 90%까지 감축할 수 있는 셈”이라고 설명했다. 실제 2023년 11월에는 국방부 산하 최대 연구소인 한국국방과학연구소의 딥러닝 연산용 고밀도 GPU기반 클러스터 컴퓨팅 시스템을 구축하면서 신뢰도를 검증 받았다. LG전자, KB국민카드, 한화시스템 등 기업을 비롯해 연세대, 서강대, 한양대, 성균관대 등 대학 고객도 확보했다. 텐은 이달 초 LG유플러스, KDB산업은행, 퀀텀벤처스코리아 등으로부터 70억 규모의 시리즈A 투자를 유치했다. 연세대 전기전자공학부에서 박사 과정을 마친 오 대표가 AI모델이 아닌 AI인프라에 빠져든 것은 주변에서는 의외의 행보로 여겨졌다. 음성인식 분야에서 이름을 날린 연세대 디지털신호처리·인공지능 연구실에서는 AI오디오 스타트업인 가우디오의 오현오 대표를 비롯해 많은 AI 연구자들을 배출됐다. 상당수가 AI 모델쪽을 택했다. 하지만 오 대표는 달랐다. 전문연구요원으로 복무하던 2016년은 구글의 딥마인드가 만든 AI ‘알파고’가 이세돌 9단을 상대로 대국을 여러 차례 이기면서 AI 열풍이 본격적으로 시작된 해였다. 기업들에게 AI모델을 만들어 주는 시스템 통합(SI) 업체에서 근무하다 보니 AI 전공자라는 이유로 다양한 업무를 하게 됐다. 그는 “당시 라이나생명부터 LG전자까지 다양한 기업들이 가진 문제를 해결하기 위해 AI 서비스를 개발했는데 결국 좌초됐다”며 “AI 서비스를 통해 절감해줄 수 있는 비용은 일년에 5억 원 수준인데 인프라 구축에는 20억 원이 들다 보니 결국은 비용이 문제였다”고 말했다. 그때 그가 느낀 것은 좋은 AI모델 이상으로 이를 비용 효율적인 인프라로 구축하는 게 중요하다는 것이다. 또 앞으로는 하드웨어와 인프라가 핵심이 될 것이라는 예감도 들었다는 게 그의 전언이다. 이후 2020년 7월 텐을 창업할 때 주변에는 응원군보다는 의심의 눈초리가 많았다. ‘왜 아무도 가지 않는 길을 하려고 하느냐’ ‘AI 모델이 먼저다’ 등의 시각이었지만 5년 만에 상황이 달라졌다. 지금은 AI인프라 분야에서는 독보적인 실력으로 이 분야의 인재 양성소가 되고 있다. 전 세계적으로도 최근 엔비디아에 인수된 런AI 등 AI 인프라 회사는 몇 곳이 안 된다. 창업 후 5년 가까이 국내에서 기반을 다졌다면 앞으로 5년은 글로벌 시장의 문을 두드려 세계 시장의 강자가 되는 데 집중할 생각이다. 오 대표는 “국내에도 에스넷시스템 등 19개 업체와 파트너십을 맺고 전국의 고객사들을 만나고 있다”며 “해외에도 저희만의 유통망, 교육 프로그램, 영업관리 등을 시스템으로 만들어 바로 적용하는 게 목표”라고 강조했다. 텐의 경우 구글이 개발한 오픈소스 컨테이너 오케스트레이션 도구인 쿠버네티스를 기반으로 하고 있는데 오픈AI도 채택한 표준이기 때문에 확장성이 매우 높아 해외에서도 빠르게 적용할 수 있다는 설명이다. 텐의 목표는 최고의 AI를 만들자는 게 아니라 모두가 AI를 활용할 수 있게 하자는 쪽에 가깝다. 이 때문에 주 고객사들도 엔비디아의 데이터센터솔루션 수퍼팟(SuperPOD)을 구매해 직접 관리를 받을 수 있는 소수의 대기업이 아니라 스타트업부터 중소, 중견 기업 등 사각지대에 있는 기업들이다. 오 대표는 “적은 비용으로도 AI를 빠르게 도입해 가치를 만들어내고 많은 이들이 공유할 수 있도록하는데 노력을 집중하고 있다”며 “AI모델처럼 눈에 띄지는 않아도 ‘뒷단’에서 받쳐줄 수 있는 역할을 제대로 해낼 것”이라고 강조했다.

[청론직설] “전력 못 끌어와 AI칩 있어도 쓰지 못해…연구 인프라 확충 절실”

산업 IT 2025.03.31 18:01:58

인공지능(AI) 기술을 둘러싼 패러다임이 급변하고 있다. 미국의 오픈AI가 2022년 11월 생성형 AI 기술을 활용한 ‘챗GPT’를 공개해 전 세계에 충격을 안겨주더니 올해 1월에는 중국의 AI 스타트업이 그에 버금가는 성능의 ‘딥시크 R1’을 출시했다. 대통령 직속 국가인공지능위원회 기술분과위원장을 맡고 있는 조성배 연세대 컴퓨터과학과 특훈교수는 31일 서울경제신문과의 인터뷰에서 “한국의 AI 연구 인프라와 인재는 미국·중국에 비해 양적으로 매우 부족하다”며 “우리나라가 보유한 AI용 반도체칩 총량이 미국 빅테크 한 곳에도 미치지 못하므로 이를 극복하기 위한 차별화된 전략이 필요하다”고 진단했다. 그는 “AI 칩으로 쓰이는 그래픽처리장치(GPU)는 전력 소모량이 매우 크므로 데이터센터에 전력 공급 시설을 함께 지어야 하는데 아직 미흡하다”고 전했다. 이어 “일부 대학 연구소는 AI 연구를 위해 GPU를 구해놓고도 전력선을 끌어오지 못해 해당 AI 칩을 쓰지 못하는 경우도 가끔씩 발생하고 있다”며 관련 기반 시설 확충이 절실하다고 강조했다. -구글의 AI 알파고 등장 쇼크 이후 10년째에 접어들었다. 그간 AI 기술은 어떻게 진화했는가. △알파고가 2016년 바둑계의 인간 최고수인 이세돌 9단을 이기면서 AI에 대한 일반인들의 관심이 커졌다. 컴퓨터가 스스로 데이터에서 패턴을 찾아 학습하고 이를 바탕으로 예측하는 머신러닝(기계학습) 기술이 알파고 개발 과정에서 핵심 역할을 했다. 정확히 말하면 머신러닝의 일종인 딥러닝(심층 기계학습)과 강화 학습을 바탕으로 삼았다. 이 기술은 ‘언어모델’ 방식의 AI 개발에도 적용되기 시작했다. 언어모델이란 어떤 단어들이 순차적으로 나열됐을 때 그다음에 무슨 단어가 나와야 가장 자연스러운 문장이 될지 추정하는 것이다. 언어모델 알고리즘에서 파라미터(매개변수)들을 엄청나게 늘려주면 AI가 더 복잡하고 정교한 작업을 할 수 있다. 이를 통해 사람과 대화하면서 복잡한 작업을 수행할 수 있는 챗봇과 같은 대규모언어모델(LLM) AI가 탄생했다. 근래에는 LLM을 바탕으로 자율적으로 계획을 세워 작업하고 다른 AI들과도 정보를 교류할 수 있는 ‘에이전트 AI’를 개발하는 데 연구자들의 관심이 집중되고 있다. -최근에는 딥시크 쇼크가 또 다른 기술 트렌드의 물꼬를 트는 것 같다. △그동안 기술 개발의 기본 추세는 AI가 더 복잡한 작업을 할 수 있도록 학습용 데이터 투입량을 확대하고 알고리즘의 파라미터를 늘려가는 방식이었다. 이를 위해 방대한 데이터를 병렬 연산할 수 있는 고성능 컴퓨터가 필요했다. 엔비디아의 GPU가 각광받았던 것은 병렬 연산 방식으로 많은 데이터를 고속 처리할 수 있었기 때문이다. 그런데 중국의 딥시크는 미국 빅테크들이 사용했던 고성능 칩보다 성능이 낮은 저사양 칩을 사용해 고성능을 낸 것이어서 놀랍다. 개발사 측은 딥시크 개발에 불과 약 560만 달러만 들어갔다고 했다. 오픈AI가 챗GPT 등을 개발하는 데 1억 달러 이상을 들인 것을 감안할 때 딥시크는 미국 빅테크의 10%도 안 되는 비용으로 비슷한 성능의 AI를 개발한 셈이다. -딥시크 개발은 우리에게 어떤 시사점을 주는가. △딥시크는 미국 빅테크들의 대용량인 AI와 달리 경량으로 설계됐다. 알고리즘 크기와 데이터양이 적기 때문에 성능이 낮은 반도체칩으로도 빠르게 연산할 수 있는 가성비 좋은 AI를 만들어낸 것이다. AI 개발의 물적·인적 인프라가 미국에 비해 매우 부족한 우리나라도 고성능 AI 개발을 할 수 있다는 자신감을 가질 수 있게 됐다. -한국의 AI 기술 수준은 어느 정도인가. △단순 비교는 쉽지 않지만 미국 스탠퍼드대가 발표하는 글로벌 AI 인덱스에서는 우리나라가 7위 정도 했다. 이 정도면 그런대로 잘하는 수준으로 보일 수도 있다. 그런데 1위 미국, 2위 중국을 제외한 나머지 주요국들의 기술은 올망졸망 수준이다. 영국·프랑스·캐나다·싱가포르에 이어 우리나라가 비슷한 수준에서 뒤따라가고 있다. 우리가 조금 더 AI 연구개발(R＆D)에 집중하면 기술 순위를 지금보다 더 올릴 수는 있다. 그러나 단순히 평가지표의 순위를 높이려고 ‘우리나라에는 이런 기술도 있고 저런 기술도 있다’면서 백화점식 연구개발을 하는 것은 바람직하지 않다. 순위를 떠나서 실질적으로 사회적·산업적으로 파급효과를 낼 수 있는 기술에 집중해 선도해야 한다. -우리가 선도할 수 있는 분야가 있다면. △원천 기술을 응용해 상용화 서비스로 개발하는 것도 우리가 잘할 수 있는 분야다. 그런 차별화된 분야에서 한국이 연구개발에 집중할 필요가 있다. 가령 우리나라는 의료 분야에서 의료보험을 통해 양질의 데이터를 갖고 있다. 제조업 분야에서도 많은 경험과 데이터, 물적 기반을 갖췄다. 이런 분야들에 특화된 AI를 개발해 세계시장을 겨냥한다면 충분히 기술을 선도할 수 있을 것이다. -AI 연구 인력 부족이 심각한데 해외 인재 영입을 위한 여건이 갖춰져 있는가. △전 세계적으로 AI 연구 인력의 몸값이 많이 높아져서 쓸 만한 사람을 채용하는 게 굉장히 어렵다. 미국 실리콘밸리에서 AI 분야 연구자에게 주는 연봉이 우리 대기업들의 평균 3~4배가량 된다. 우리가 그런 고액을 주고 외국인들을 데려온다고 해도 실제로 그가 몸값에 걸맞은 성과를 낼 수 있을지도 불확실하다. -우리 연구기관들이 미국뿐 아니라 인도에서도 공대 출신들을 데려오기 힘들어서 파키스탄 등에서 AI 전공자들을 수소문하기도 한다는데. △제3세계에서 2~3류 인재들을 데려와 머릿수를 늘린다고 인재 육성이 될지에 대해 고민해봐야 한다는 목소리도 있다. 그렇다고 1류 인재들을 데려오기에는 우리의 정주 여건이 부족하다. 언어 장벽, 비자 문제 등 사회 여건을 전반적으로 개선해야 한다. 시간이 많이 걸릴 것이다. -우리가 고급 인재를 육성하기 위한 방법이 있다면. △중국은 딥시크를 외국인 투입 없이 순수 자국 인력만으로 개발했다. 투입된 인력 규모는 미국의 어지간한 빅테크 대비 9분의 1 수준에 불과한 것으로 알려져 있다. 우리도 국내에서 전문 인력들을 잘 육성하면 중국처럼 미국 기술을 따라갈 수 있다. 지난 몇 년간 국내 주요 대학들이 정부 지원을 받아 인공지능대학원 10곳을 설립했다. 젊은 과학자를 키우는 ‘스타펠로우십’ 사업과 인공지능센터 건립 사업도 추진되고 있다. 다만 무조건 AI 분야 인력을 양적으로 늘린다고 경쟁력을 확보할 수 있는 게 아니다. 현재 AI 기술 판도는 상위 1% 이내의 인재들에 의해 좌우되고 있다. 우리도 이런 점을 감안해 인재 육성 정책을 투트랙으로 짜야 한다. 핵심 선도 기술을 연구하는 소수 정예 엘리트를 길러내는 트랙, 그리고 AI 기술을 응용해 이용자 저변을 넓힐 수 있는 역량을 갖춘 인력을 양성하는 트랙으로 나누어 교육과 평가체계를 개선할 필요가 있다. -물적 인프라 여건이 어떤지 궁금하다. △미국의 상위 빅테크들이 보유한 GPU 칩은 회사별로 최대 수십만 장에서 수만 장에 달한다. 우리 정부도 매년 국내 기업·기관들의 GPU 보유 현황을 조사하는데 보유량이 미국 빅테크 1개 회사만큼도 안 된다고 한다. 그나마 네이버·카카오·삼성전자 등이 많이 보유한 편인데도 각각 수천 장 수준에 불과하다. 국내 주요 대학이나 정부 출연 연구기관들은 각각 10여 장 정도 보유하고 있다. 물량으로 보면 미국에 비해 중과부적이다. 전력망 공급도 아직 미흡하다. GPU 한 장당 가격이 보통 4만 달러 이상인데 점차 가격이 내려가고 있어 앞으로는 다소 사정이 나아질 수는 있겠다. -엔비디아의 비싼 GPU 외에 국산 칩이나 다른 반도체를 AI 칩으로 쓸 수 없는가. △엔비디아 이외에도 AI 칩을 개발·제조하는 회사들이 있지만 아직은 운용 안정성 측면에서 신뢰도가 상대적으로 떨어진다. 그래도 국내 기업 중에서는 리벨리온 등 스타트업을 중심으로 GPU를 대체할 신경망처리장치(NPU) 등을 개발하고 있다. 물론 NPU는 주로 추론 기능에 특화돼 있다 보니 GPU 기능을 모두 대체할 수 있을지에 대해서는 의견이 엇갈린다. 그럼에도 앞으로 AI 개발에서 추론 기능이 점점 중요해지는 만큼 해당 분야에서만이라도 우리가 1등을 점유할 수 있는 칩을 개발해야 한다. -AI 기술 연구 과정의 제도적 걸림돌을 제거하는 방안은. △고성능의 AI를 개발하려면 방대한 학습용 데이터가 필요하다. 그런데 우리나라의 개인정보 보호 규제는 미국보다 높아 연구자들에게 제약이 되고 있다. 최근 만들어진 인공지능기본법도 그렇고 우리나라의 AI 관련 제도는 주로 유럽의 법 체계를 참조했다. 유럽은 미국보다 규제 장벽이 높아 AI 기술이 뒤처져 있다. 정부가 신기술 개발과 사업화를 위해 법적 제한에 관한 특례를 주는 ‘규제 샌드박스’ 제도를 운영하고 있는데 AI에 대해서는 이 같은 특례를 좀 더 광범위하게 적용해야 한다. 이를 통해 기술 개발과 상용화, 기술 기반 창업의 길을 터줘야 한다. ◆He is… 1965년 서울에서 태어나 연세대 전산과학과를 졸업하고 한국과학기술원(KAIST) 전산학과에서 신경망 연구로 박사 학위를 받았다. 일본의 ATR 인간정보통신연구소 연구원과 캐나다의 브리티시컬럼비아대 방문교수를 지냈다. 연세대에서는 인지과학연구소장과 인공지능대학원장 등을 역임했다. 한국데이터마이닝학회 회장으로 활동했고 지난해 9월 출범한 대통령 직속 국가인공지능위원회에서 기술분과위원장을 맡았다.