딥러닝의 적용 분야는 상상하는 데까지 인듯합니다. 오늘 소개할 내용은 움직이는 객체를 3D 모션으로 표현하는 딥러닝 프로젝트에 관한 것입니다. 독일 Max Plank 연구소에서 학습 기반의 3D 재구성에 대한 프로젝트를 추진 중입니다. 관련해 OFlow(Occupancy Flow)라는 신경망을 만들었습니다. 간단히 정리하자면 OFlow는 Occupancy Network와 Velocity Network로 구성되는 일련의 흐름입니다.
OFlow를 만들게 된 계기는? 단순한 호기심에서 출발하였습니다. 2D 이미지를 3D 그래픽으로 전환하는 것은 손이 많이 가는 작업으로 여겨졌습니다. 그나마 2D 이미지를 3D 이미지로 바꾸는 것은 누군가 해왔습니다.
그런데 누군가 하지 않은 빈틈이 있었습니다. 네, Max Plank 연구소 관계자들은 왜 움직이는 3D 모션에 대해서는 아무도 생각하지 않지? 이런 생각을 하게 된 것이죠. 참고로 2D를 신경망을 통해 3D 메시로 바꾸는 것은 다음과 같습니다. 정적인 상태의 이미지를 뽑아내는 것이죠.
OFlow는 좀 다릅니다. 다음과 같이 입력 정보를 딥러닝을 통해 3D 모션으로 뽑아냅니다. 움직이는 객체에 대한 입력 정보를 넣으면 신경망을 거쳐 3D 모션으로 나타납니다.
위 영상과 같이 입력 데이터를 딥러닝을 통해 움직이는 3D 모션으로 나타내는 것이 바로 OFlow입니다. 앞서 OFlow는 Occupancy Network와 Velocity Network로 구성된 흐름이라고 했죠. 네, OFlow의 핵심 아이디어는 객체와 공간을 분리해 딥러닝 모델을 적용하는 것입니다.
OFlow 흥미로운 프로젝트인 것 같습니다. Max Plank 연구소는 딥러닝을 이용해 4D 모션까지 구현하는 것이라고 하네요. 앞으로 어떤 연구 결과가 나올지 궁금합니다. 참고로 이 연구소는 NVDIA RTX GPU가 장착된 시스템에서 cuDNN 가속 기반 PyTorch 딥러닝 프레임워크를 이용해 프로젝트를 진행했습니다.
OFlow 관련 상세 내용은 프로젝트 페이지를 참조 바랍니다. 소스 코드 다운로드도 가능하다고 하네요.