요즘 각 가정에 AI 비서를 쓰는 곳이 많죠. 음성 인식 기술을 갖춘 예쁜 스피커 모양의 이 로봇들은 주로 말 동무 수준의 서비스를 제공합니다. 이거 해줘, 찾아줘 머 이런 대화를 나누죠. 이 정도 서비스는 사실 그다지 당기지 않습니다. 그렇다면 어느 정도 되어야 HOME 로봇을 위시 리스트에 올려놓기 좋을까요? 개인적으로 집에 들어왔을 때 마중 나와서 겉옷과 가방을 받아 주고, 내 손에 TV 리모컨을 건네주는 정도라면? 먼 이야기가 아닙니다. NVIDIA 연구팀에서 재미있는 실험을 하고 있는데요, 주변 환경을 알아보는 로봇입니다. 다음 영상을 보시죠. 깡통, 과자 박스 알아보고 들어서 전달하는 게 뭐 대수냐 할 것 같지만, 말처럼 쉬운 일은 아닙니다. 하지만 요즘 GPU 가속 기반 AI 기술의 발전 속도를 보면 몇 년 안에 TV 광고로 이런 HOME 로봇 선전을 볼 수도 있을 듯합니다.
위 영상에 나온 로봇은 기술적으로 아이디어가 참신합니다. 흔히 우리가 말하는 로봇은 주로 정해진 일만 잘 합니다. 공장 자동화 로봇의 경우 사전에 프로그램된 행동만 하죠. 주변 상황이 어떻건 로봇은 주어진 일만 묵묵히 합니다. 위 영상의 로봇은 과제나 깡통 같은 사물을 인식합니다. 그리고 주변에 사람이 있으면 건네주거나, 받죠. 영상에 나온 로봇은 사전에 프로그램된 행동만 하지 않습니다. 실제 상황 속에서 학습을 계속하면서 발전합니다. 한 마디로 점점 더 똑똑해지는 로봇이 되는 것이죠. 이게 가능한 것은 위 영상 로봇에 달린 화면에 힌트가 있습니다. 그냥 작은 태블릿을 그냥 달아 놓은 것이 아닙니다. 이것은 로봇의 눈 역할을 합니다. 보통 상황을 인지하는 로봇을 학습할 때 카메라로 찍은 실제 이미지를 시뮬레이션 이미지로 바꾸고 이를 데이터 세트로 활용해 트레이닝을 합니다. 이런 방식이 일반적인데요, 위 영상의 로봇은 접근법이 조금 다릅니다. 시뮬레이션 된 이미지 데이터(Non-photorealistic domain randomized Data)에 카메라를 통해 보고 있는 실제 영상 이미지 데이터(photorealistic data)를 조합해 훈련을 거듭합니다. 친절하게도 NVDIA 연구팀이 이 로봇 관련 인퍼런스(Inference) 코드를 공개해 두었으니 관심 있는 분은 한번 보시면 도움 되실 것 같습니다.
참고로 본 연구에서 모델 개발과 트레이닝은 NVIDIA Tesla V100 GPU를 장착한 DGX Station에서 cu-DNN 가속 기반 PyTroch 딥러닝 프레임워크 환경에서 이루어졌습니다. 그리고 인퍼런스는 NVIDIA TITAN X GPU 환경에서 이루어졌습니다.