시각특수효과(VFX) 전문기업 M83의 뉴미디어사업본부가 한국과학기술연구원(KIST)과 손잡고 ‘실감 콘텐츠 핵심 기술 개발’ 연구를 가속화 한다고 29일 밝혔다.

과학기술정보통신부(과기부)와 정보통신기획평가원(IITP)이 공모하고 주관기관인 KIST의 조정현 박사가 이끄는 본 연구는 ‘가변 시점 허용 실사 영상에서의 강인한 3D 객체 식별 기술’을 목표로 개발을 추진한다.

해당 프로젝트는 연구 2년 차에 들어서 유의미한 성과를 내고 있으며 원천 기술 개발의 고도화에 박차를 가하고 있다.

연구팀이 개발한 ‘메타씬 크리에이터(MetaScene Creator)’는 3D 에셋 라이브러리 및 지능형 검색 API를 활용한 인공지능(AI) 기반의 '영상 사전 연출 계획 프로그램(Pre-Visualization)'으로 콘텐츠 제작 공정에 혁신을 가져올 것으로 기대되고 있다.

통상적으로 영화·애니메이션과 같은 영상 콘텐츠 제작 과정에서는 본격적인 촬영과 제작에 들어가기 전에 완성될 장면을 사전에 미리 간단한 형태로 시뮬레이션 하는 프리비즈(사전 시각화) 과정을 거친다. 

이 같은 절차를 통해 제작진은 효율성 있는 의사소통을 진행하고, 제작 과정에서 발생할 수 있는 기술적 문제나 시행착오를 줄여 작품의 완성도를 높여준다.

프리비즈 제작은 연출하고자 하는 공간을 간단한 3D로 구성하는 데에도 상당한 시간과 공력이 투입된다. ‘메타씬 크리에이터’에 방대한 양의 데이터를 학습시켜 프리비즈를 구성하는 방식으로 제품을 활용하면 이 문제를 일정 부문 해결할 수 있다.

메타씬 크리에이터는 3D로 제작하고자 하는 공간과 비슷한 2D의 사진을 프로그램에 업로드하는 것 만으로도 자동으로 이미지 안의 각각의 객체를 모두 식별하고, 3D 형태로 변환해 똑같은 공간을 구성해낸다. 

또한 이렇게 구성된 3D 형태의 공간과 객체들은 자유로운 이동과 재배치가 가능하며, 다양한 각도의 가변시점에서 연출 활용이 가능하다.

M83의 자회사인 AI·딥페이크 연구개발(R&D) 전문기업 디블라트(DiBlAT)는 AI를 활용해 구축된 3D 공간에 ▲패턴과 색상·질감 등을 바꾸고 ▲라이팅(Lighting) 수정이 가능하며 ▲사용자가 원하는 스타일로 디자인과 화풍을 변경하고 ▲데이터를 내보내 언리얼 엔진(Unreal Engine)에서 활용할 수 있도록 기술을 고도화하고 있다.

복잡한 프리비즈 제작 과정을 자동화함으로써 사용자는 쉽게 원하는 3D 환경을 구축할 수 있게 됐으며, 이에 소요했던 시간과 노고를 연출과 제작에 더 투자할 수 있게 되면서 메타씬 크리에이터는 게임체인저로 부각 받을 것으로 전망된다.

연구 책임자인 조정현 KIST 박사는 “메타씬 크리에이터로 제작된 3D 공간은 언리얼과 같은 산업 표준 도구와 연동되면 다양한 분야에서 활용 가능성을 극대화할 수 있다”며 “영화, 애니메이션, 게임뿐만 아니라 가상 현실(VR) 및 증강 현실(AR)을 위한 메타버스(Metaverse) 플랫폼 등에서 활용될 수 있다”고 말했다.

이어 “앞으로도 지속적인 연구 개발을 통해 현장의 니즈를 반영해 더 많은 창작자들에게 새로운 가능성을 제시하겠다”고 덧붙였다.

정성진 M83 대표는 “M83이 국내 최고의 연구진과 함께 산업의 제작 판도를 바꾸는 기술 발전에 일조할 수 있어서 뜻깊게 생각한다”며 “성공적인 서비스 상용화를 위해 현재 프리비즈 기능을 위한 카메라 설정 관련 플러그인을 추가 개발 중”이라고 설명했다.