사진이나 그림은 순간을 담고 있죠. 이미 찍거나 그린 2D 이미지를 3D 애니메이션으로 만들 수 있다? 없다? 인공 지능은 못 하는 것이 없는 것 같습니다. 워싱턴 대학과 페이스북 연구팀이 딥러닝 기반으로 이미지는 애니메이션으로 바꾸어주는 알고리즘을 개발했습니다. 그 이름은 'Photo Wake-Up'입니다. 이름에 내용이 다 들어 있네요. 사용자의 흥미를 돋우기 위해 쓰기 딱 좋은 기능으로 보이네요. 친구들이랑 찍은 셀카에 이 알고리즘을 적용하면, 사진 속 인물들이 막 걸어 나옵니다. 이 정도 재미라면 사용자의 흥미를 끌기 충분해 보이네요.
연구팀이 개발한 알고리즘의 예도 흥미롭습니다. 유명 그라피티, 만화 캐릭터, NBA 스타인 스태판 커리, 피카소의 그림을 사용했네요. 이 알고리즘의 원리는 2D 이미지에서 인물을 따낸 다음 여기에 현실감 넘치는 3D 효과를 주는 것입니다. 이 효과를 실감 나게 보려면 사용자는 AR/VR 장치를 착용해야 합니다.
더 자세히 설명하자면 다음 그림과 같습니다. 입력으로 받은 이미지에서 인물의 몸체를 세분화합니다. 그리고 여기에 3D 메쉬를 적용해 세분화한 몸체 단위로 움직임을 만드는 것이죠. 출력으로 나오는 것은 스틸 이미지 속 인물이 움직이는 것처럼 보이는 3D 애니메이션입니다. 더 자세한 내용은 연구팀이 발표한 논문을 참조 바랍니다.
참고로 본 연구는 NVIDIA TITAN GPU를 장착한 시스템에서 cuDNN 가속 기반 PyTorch 딥러닝 프레임워크 환경에서 이루어졌습니다. 연구팀은 마이크로소프트와 Max Planck가 개발한 SMPL이라는 사전에 트레이닝한 모델을 사용했습니다.