VOCA(Voice Operated Character Animation)이라고 들어보셨나요? 네, 말 그대로 사람의 음성, 즉 말을 따라 입을 움직이는 캐릭터를 재현한 것입니다. 딥러닝을 이용해 많이들 구현하죠.
최근 NVIDIA의 NVAIL 프로그램에 참여하고 있는 연구원이 VOCA 관련 딥러닝 알고리즘을 개발했습니다. 사람이 말하는 음성 사운드를 얼굴의 움직임으로 표현하는 것이라 이해하면 됩니다. 관련해 논문도 발표했네요.
이 알고리즘이 목표로 하는 것은 사람의 말에 베어 있는 액센트, 말하는 속도, 주위 잡음 등을 수용해 다양한 얼굴 모양에 맞게 동작하게 하는 것이라고 합니다. VOCA의 개념은 다음과 같습니다. 오디오 신호를 수신한 다음, 빠른 추론 작업을 통해 오픈 소스 기반 Voice-to-Text 엔진인 모질라의 DeepSpeech를 사용해 텍스트를 추출한 다음 타깃 3D 메쉬에 표현을 하는 것입니다.
이 알고리즘은 최근 캘리포이나에서 열린 컴퓨터 비전 및 패턴 인식 컨퍼런스에서 발표되었는데요, 관련 데이터 세트와 모델은 깃허브에 올라와 있습니다. 논문과 함께 참조하면 좋을 듯 하네요.