최근 발표된 반도체 업계의 실적은 인공지능(AI)용 메모리인 고대역폭메모리(HBM)가 반도체 산업 경쟁력을 좌우하는 핵심임을 보여준다. HBM이 주목받는 이유는 챗GPT와 같은 최신 AI 모델들이 방대한 연산뿐 아니라 대규모 메모리 접근을 동시에 요구하기 때문이다. 현재 엔비디아 그래픽처리장치(GPU)를 비롯한 대부분의 컴퓨팅 시스템은 폰 노이만 구조를 따른다. 이 구조는 연산을 담당하는 GPU와 데이터를 저장하는 메모리가 물리적으로 분리돼 있어 데이터 이동에 소모되는 전력이 실제 연산에 드는 전력보다 더 큰 경우가 많다.
반면 인간의 두뇌를 구성하는 신경세포는 기억과 사고 기능을 동시에 수행하기 때문에 전력 소모가 극히 적다. 인간의 뇌는 약 20와트의 전력만으로 고도의 인지 기능을 수행한다. 이에 비해 GPU 한 대는 수백 와트를 소모하며 수만 장의 GPU가 장착되는 대형 AI 데이터센터의 전력 소비는 매우 크다. 이러한 전력 문제 해결을 위해 반도체 업계는 다양한 기술적 해법을 모색하고 있으며 그중 하나로 주목받고 있는 것이 PIM(Processing in Memory)이다. PIM은 연산과 저장 기능을 하나의 반도체 칩에 통합한 구조로, 데이터 이동을 최소화해 전력 소모를 획기적으로 줄일 수 있다. AI 기술이 빠르게 고도화되고 이에 따라 전력 수요가 기하급수적으로 증가하는 현시점에서 PIM의 상용화는 시급한 과제로 떠오르고 있다.
PIM 기술이 산업 현장에서 실질적으로 활용되기 위해서는 전용 소프트웨어(SW) 개발 환경의 구축이 필수적이다. 이를 잘 보여주는 사례가 바로 엔비디아의 CUDA(Compute Unified Device Architecture)다. 엔비디아는 자사 GPU에 최적화된 CUDA 플랫폼을 통해 강력한 SW 생태계를 조성했고 이는 시장 지배력의 핵심 기반이 됐다. 하지만 이러한 생태계는 하루아침에 만들어지는 것이 아니다. CUDA 역시 2006년 개발 이후 10년 이상의 시간과 노력이 투입돼 지금의 수준에 이르렀다.
현재 반도체 업계는 HBM 개발에 역량을 집중하고 있는 상황이라 PIM용 소프트웨어 생태계까지 개별 기업이 독자적으로 구축하기는 어렵다. 따라서 PIM의 본격적인 상용화를 위해서는 대학·연구기관·산업계가 함께 참여하는 산학연 협력 체계가 필요하다. 아울러 이러한 협력이 실질적인 성과로 이어지기 위해서는 정부의 전략적인 지원이 뒷받침돼야 한다. 단발성 연구 과제를 넘어서 PIM 생태계 전반을 아우를 수 있는 장기적인 연구개발(R&D) 투자, 전문 인력 양성, 실증 테스트베드 제공 등 지속적이고 체계적인 정책적 지원이 요구된다. 우리나라는 메모리 분야에서 세계 최고 수준의 경쟁력을 확보하고 있다. 이 기반 위에 PIM 반도체와 전용 SW 생태계까지 선제적으로 구축한다면 AI 시대를 선도할 기회를 잡을 수 있을 것이다.
< 저작권자 ⓒ 서울경제, 무단 전재 및 재배포 금지 >
