드론 레이싱 중계를 보면 그 속도에 한번 놀라고, 조종사의 말도 안 되는 컨트롤 실력에 도 한번 놀랍니다. 엄청난 속도로 비행을 하는 드론이 각종 장애물 코스를 충돌 없이 지나는 것을 보면 거의 본능적인 감각의 손놀림이 느껴집니다.
눈으로 드론을 쫓으며, 손으로 컨트롤러를 현란하게 조작하는 것을 보면 타고 나야 할 수 있는 일 같다는 생각이 들죠. 하지만 앞으로는 일반인도 눈짓 하나로 드론을 간단히 조정하는 시대가 올 것 같습니다.
뉴욕대학교와 펜실베이니아대학교가 공동으로 딥러닝 기반의 드론 컨트롤 시스템을 연구했습니다. 내용은 사람의 시선을 추적하는 안경을 쓰고 눈이 향하는 곳으로 드론을 조정하는 깃입니다.
다음 영상을 보시죠. 시선을 추적하는 안경을 쓴 사람의 시선이 향하는 곳으로 드론이 날아갑니다. 연구팀은 NVIDIA GeForce GTX 1080 Ti GPU와 cuDNN 가속 기반 TensorFlow 딥러닝 프레임워크 환경에서 모델을 개발했습니다. 이 모델은 안경을 통해 획득한 시선이 향하는 좌표 정보를 3D 내비게이션 탐색을 통해 정확히 짚어 내는 것을 학습합니다.
이 모델은 드론에 장착된 NVIDIA Jetson TX2 GPU 기반 플랫폼에서 추론 작업을 거듭하면서 더 정교해집니다. 대충 모델 개발과 추론 방식이 자율 주행 자동차와 비슷합니다. 자율 주행 자동차의 경우도 차량에 강력한 임베디드 GPU 기반 추론 시스템이 장착됩니다. 위 영상처럼 사용자가 카메라가 장착된 안경을 쓰면 드론의 위치가 감지되고, 사용자 시선 방향으로 드론이 움직이는 과정에 사용되는 컴퓨트 파워가 Jetson GPU라고 보면 됩니다. 안경은 드론에 장착된 이 GPU와 짝을 이뤄 동작을 합니다.
참고로 이번 연구 내용을 담은 논문은 ICRA 2019와 IEEE Robotics and Automation Letters에 제출되었습니다.