몸치를 전문 댄서로 만들어 주는 인공 지능 ~ 누구나 브루노 마스처럼 스웩 넘치는 힙합 춤을 출 수 있다!

춤을 잘 추는 모습, 멋지죠. 흔히 어떤 춤을 춰도 무엇인가 어색한 느낌이 드는 이들을 '몸치'라고 부릅니다. 몸치들은 혼자 있을 때 빼고는 춤을 잘 안 추게 됩니다. 웃음 참느라 주변 사람들 힘들어하는 모습도 보기 싫고, 몸치란 사실을 스스로 다시 확인하기도 싫죠. 이런 분들을 위한 인공 지능 기술이 있습니다. 버클리 대학의 한 연구팀이 딥러닝 기반 알고리즘을 하나 만들었습니다. 이 알고리즘은 누구나 프로 댄서 수준의 춤을 추는 모습으로 바꾸어 줍니다. 

위 영상에서 Source 부분은 전문 댄서가 춤을 추는 화면이고, Target 부분은 일반인이 댄서의 움직임을 따라서 막춤을 추는 장면입니다. 가만 보면 소스와 타깃 화면 모두 춤을 잘 추는 것처럼 보입니다. 여기에 딥러닝의 마술이 숨어 있습니다. 브루노 마스 뮤직비디오에 나온 춤을 대충 따라 춰도, 브루노 마스처럼 스웩 넘치는 느낌을 뿜어내는 영상을 만들 수 있습니다. 

버클리 대학 연구팀이 개발한 알고리즘은 전문 댄서의 포즈를 탐지하고, 이를 타깃 화면의 등장인물에 매핑하여 실제 타깃 화면의 아마추어가 춤추는 것처럼 보여주는 마술을 보여 줍니다. 

샘플 영상을 자세히 보면 약간 어색한 부분도 있긴 한데, 처음 언뜻 보면 소스와 타깃 영상의 등장인물 모두 춤을 참 잘 춘다는 인상을 받습니다. 다음 영상처럼 음악까지 곁들여서 보면 더욱 구분하기 어렵습니다. 


연구팀은 NVIDIA TITAN Xp, GeForce GTX 1080 Ti GPU 기반 시스템과 cu-DNN 가속 기반 PyTorch 딥러닝 프레임워크 환경에서 모델을 개발하고 트레이닝을 하였습니다. 이 팀이 트레이닝 과정에서 뽑아내는 것은 프로 댄서의 포즈입니다. 이를 위해 OpenPose를 사용해 손짓과 몸짓 등을 잡아내었다고 합니다. 그리고 이미지 전환을 위해 NVIDIA에서 개발한 pix2pixHD 아키텍처 기반의 알고리즘을 적용했다고 하네요. 

이번 연구에 대한 상세 내용은 논문에 잘 나와 있으니, 관심 있는 분은 읽어 보기 바랍니다. 

#NVIDIA #TITAN_Xp #GeForce #GPU #cuDNN #OpenPose #PyTorch

조회 42회

주소: 서울특별시 중구 퇴계로 286 쌍림빌딩 8/9층 (주)유클릭 AI 사업본부

전화: 02-6320-0121

© 2030 by uDNA & Uclick

  • 블랙 블로거 아이콘