4D 볼류메트릭 스튜디오를 운영하는 엠앤앤에이치와 3D 가상인간 AI 전문기업 오모션은 실사 배우와 가상 생성 에셋을 융합하여 XR 헤드셋용 몰입형 콘텐츠를 만들 수 있는 이머시브 AI 스튜디오 솔루션을 발표했다.
최근 삼성, 애플, 메타 등 빅테크들을 위주로 XR 헤드셋과 AI 글래스 신제품이 출시되며 상용화를 앞두고 있으나, 이러한 확장 현실 및 증강 현실 기기를 위한 콘텐츠는 절대적으로 부족한 상태이며, 그 주요한 이유로 공간 입체 콘텐츠를 제작하기 위한 솔루션 부재와 스크린 콘텐츠 대비 상대적으로 높은 제작비 때문이다.
엠앤앤에이치와 오모션이 발표한 이머시브 AI 스튜디오 솔루션은 확장 현실 콘텐츠에서 요구되는 사용자가 자유롭게 이동하며 자유 시점에서 콘텐츠를 감상할 수 있는 6-DoF 4D 콘텐츠와, 시점 고정형 180도 / 360도 스테레오 비디오 콘텐츠를 좀 더 쉽게 제작할 수 있는 솔루션을 제공한다.
기존의 버츄얼 프로덕션이 비대면 시기를 거치며 여러 장소를 이동하며 외부 촬영으로 인한 시간, 거리, 장소의 제약을 극복하고 촬영 제작 효율을 획기적으로 개선했다면, 차세대 AI 스튜디오는 생성형 AI를 활용함으로써 공간 콘텐츠의 무한한 다양성을 확장하고, 생성형 360도 배경, 생성형 3D를 사용하여 제작 효율성을 극대화하는 동시에, 게임 엔진 상에서 제작자가 직접 카메라 촬영 제어를 함으로써 좀 더 완성도 있는 콘텐츠를 제작할 수 있도록 한 것이 특징이다.
또한 실존 배우와 가상 디지털휴먼의 실가상 휴먼을 융합한 콘텐츠 제작을 위해 실사 입체 4D 비디오 콘텐츠 제작과 AI 기반 디지털휴먼 제작 과정을 모두 지원한다. 기존의 볼류메트릭 캡쳐가 3D 품질이 낮아 활용성에 제약이 많았지만, 8K급 풀프레임 촬영 전문 카메라 수십대와 4D NeRF(신경망 방사 필드) 및 가우시안 스플래팅과 AI 기반 리라이팅 등 품질 개선 프로세싱을 통해 기존 스크린 비디오 수준의 4D 콘텐츠 품질을 달성하여 실사 배우의 VFX 및 XR 환경에서의 콘텐츠 활용성을 극대화했다.
3D 가상인간 제작 플로우의 경우, 자체 개발된 AI 기술을 통해 촬영과 동시에 실제 사람과 동일한 3D 가상인간을 생성하여 바로 확인할 수 있으며, 게임엔진 및 상용 3D 소프트웨어에서 애니메이션이 가능한 자동리깅 워크플로우, LLM 과 연동된 한국어 표현 스피킹, 모션 캡쳐 없이도 텍스트 기반으로 모션을 쉽게 AI로 생성해주는 3D 가상인간의 동작과 표정 재현 기능을 제공함으로써 오모션은 교보생명, 소니, 라쿠텐, 엑스온 등 국내외 고객사들과 함께 차세대 디지털휴먼 솔루션을 지속적으로 선보이고 있다.
실사 배우의 고품질 4D 콘텐츠 제작에 특화된 엠앤앤에이치와 AI 기반 가상 디지털휴먼 콘텐츠 제작에 특화된 오모션은 과기정통부의 “사실적 움직임 생성 재현이 가능한 디지털휴먼” 연구개발 사업과 문화체육관광부 “볼류메트릭 및 버추얼 프로덕션 고도화를 위한 AI 기반 콘텐츠 제작” 연구개발 사업을 통해 개발된AI 기반 XR 몰입 콘텐츠의 제작을 위한 선도 기술을 지속적으로 개발하여 공급할 계획이다.
< 저작권자 ⓒ 서울경제, 무단 전재 및 재배포 금지 >
