본문 바로 가기

로고

국내 최대 기계 및 로봇 연구정보
통합검색 화살표
  • 시편절단기 EVO 400
  • 신진연구자 인터뷰

    신진연구자 인터뷰는 기계공학과 건설공학 분야의 젊은 연구자들의 연구성과를 알리고자 기획되었습니다.
    대상은 박사과정 이상 40세 미만의 연구자로 뚜렷한 연구성과가 있으면 언제든 참여 가능합니다.
    또한 주변에 추천할 만한 연구자가 있으면 추천을 부탁드립니다. (ariass@naver.com)

    • 박기루 (Kiru Park)
      제한된 학습 데이터를 이용한 물체 탐지와 6자유도 자세 추정
      박기루 (Kiru Park)(Technische Universitat Wien(TU Wien/ 비엔나공대))
      이메일:park at acin.tuwien.ac.at
      585 1 0

    1. 본인의 연구에 대해서 자세한 소개를 부탁 드립니다.

    최근에 코로나바이러스로 인해 로봇을 이용해서 사람이 할 일을 대체하는 것에 대한 기술에 관심이 커지고 있습니다. 이미 산업 자동화 분야에선 로봇 기술이 직/간접적으로 보급이 되어 쓰이고 있습니다. 하지만, 환경이 정해져 있고 할 일이 반복적인 산업 현장보다, 우리 일상생활은 훨씬 불확실하고 복잡하다 보니 로봇이 할 수 있는 일은 바닥 청소나 길 안내, 정보제공 등의 기능에 머물러 있는 것 같습니다. 실생활의 복잡한 환경을 이해하고 로봇이 제대로 일을 하기 위해선 사람이 시각 정보에 주로 의지를 하는 것처럼, 로봇의 눈, 즉 카메라를 통해 주변 환경과 사물을 인식하는 능력이 반드시 보장되어야 합니다. 저와 제가 속한 연구실에서 하는 연구가 바로 로봇에 있는 카메라를 이용하여 주변 환경을 인식하고, 알맞은 행동을 하도록 돕는 로봇 비전이라는 분야입니다.





    그중에서도 저는 로봇이 물건을 옮기거나 제자리에 돌려놓는 등의 일을 하는데 필요한 Object Pose estimation이라는 주제로 박사과정 기간 내내 연구를 해오고 있습니다. 더 쉽게 표현 하자면, 3차원 공간상에서 물체가 어디에 있고 어떤 방향으로 (누워있는지, 앞면이 보이는지, 뒷면이 보이는지 등) 놓여 있는지를 인식하는 것입니다. 이 정보를 알면 이 물체의 어디를 잡아야 더욱 안전하게 잡을 수 있는지를 쉽게 결정할 수 있게 되고, 또 미리 사용자가 입력해 놓은 방식으로 (또는 물건이 쓰러지지 않는 방향으로) 물건을 제자리에 가져다 놓을 수도 있게 됩니다. 이 분야는 약 10년 전에 Microsoft의 Kinect가 널리 보급되면서 연구가 훨씬 활발해지게 되었는데요, 무엇보다 Depth camera를 통해 각 이미지 pixel들이 카메라로부터 얼마나 멀리 떨어져 있는지를 알게 되어, 타깃 물체의 3D Model 정보가 있다면 Model의 3차원 포인트들과 현재 카메라로 측정된 포인트들의 비교를 통해 더욱 정확하게 물체의 위치를 측정해 내는 게 가능해졌습니다. 이 전에는 저렴한 단안 카메라만 사용하면 깊이 정보를 정확히 추정하기 어려워 로봇에 활용하기는 어려웠고, 그 당시 깊이 정보의 측정이 가능한 스테레오 카메라들이 상당한 고가였었기 때문입니다. 이후 Depth camera 관련 기술은 계속 발전해왔고, 근래에 산업용 로봇에서 사용되는 비전 Solution들이 대부분 Depth 정보를 얻을 수 있는 카메라를 주로 사용하고, 특히, 박스 안의 물건을 집어 올리는 Bin-picking 작업에 널리 사용이 되고 있습니다.

    * Neural Object Learning 설명 및 결과 동영상 (ECCV 2020 논문)



    최근 몇 년 사이에는 빅데이터를 이용한 딥 러닝 기술들의 발전으로 컬러 이미지를 이용한 물체 탐지, 세그멘테이션 등 다양한 인식 문제들의 성능이 많이 좋아지게 되었습니다. Pose Estimation 분야도 마찬가지로 큰 변화를 맞이하게 됩니다. 무엇보다 큰 변화는 Depth camera가 없이도 상당히 정확한 Pose의 측정이 가능하게 된 것은 물론, GPU 연산의 도움을 받으면 거의 실시간으로 물체의 Pose 추정이 가능하게 되었다는 점입니다. 사실 로봇 도메인에서는 Depth camera가 대부분 달려있기도 하고, 물체의 Pose 추정이 굳이 실시간 수준으로 빠르지 않더라도 다른 부분에 들어가는 시간이 많아서 이러한 발전이 큰 장점으로 다가오지 않을 수 있지만, 로봇 외에 Pose estimation 연구를 상당히 필요로 하게 된 분야가 있습니다. 대표적인 분야가 바로 증강현실(Augmented reality) 또는 혼합 현실(Mixed Reality) 분야입니다. 증강현실에서 가장 흔한 데모가 바로 물체를 태블릿이나 스마트폰 카메라로 찍고 있으면 실시간으로 그 물체의 사용법에 대한 설명을 입혀서 화면에 보여주는 것인데, 이때 물체의 위치와 방향을 알아야 사람이 카메라를 움직이는 것에 맞춰서 설명도 같이 보여 줄 수 있게 되는데, 이때 태블릿이나 스마트폰에 있는 일반 카메라를 사용하여 실시간으로 정보를 보여줘야 합니다. 따라서, Depth 카메라 없이도 실시간으로 자세 추정을 하는 최근의 연구 추세는 증강현실이나 가상현실 분야에 좀 더 유용한 방향이라고 볼 수 있습니다. 물론 로봇 도메인에서도 Depth의 측정이 어려운 물체 (투명한 물체, 빛 반사율이 높은 물체, 얇은 물체)나 물체의 형상은 비슷한데, 텍스처가 다른 경우 (예: 같은 크기의 시리얼 박스인데 겉면의 상표 프린팅이 다른 경우) 등에는 컬러 정보가 중요하기 때문에, Depth 카메라의 한계를 보완해 주는 측면에서 컬러 이미지를 이용한 물체 인식 분야의 발전은, 로봇의 시각 인지 능력의 발전에도 큰 도움이 되고 있습니다.



    제가 주로 하는 연구의 방향도 최근의 흐름과 크게 다르지는 않습니다. RGB 이미지에서 정보를 빠르게 파악해서 보다 정확하게 목표 물체를 탐지하고 Pose를 추정하는 것입니다. 작년에 한국에서 열렸던 ICCV는 컴퓨터 비전 분야에서 가장 큰 학회 중 하나인데요, 이곳에서 Pix2Pose라는 제목의 논문을 발표했고, 이 방법도 기본적으로는 RGB 이미지만을 이용해서 빠르고 정확하게 목표 물체의 Pose를 측정하는 연구였습니다. 사실 이런 Pose 측정 문제를 풀다 보면 가장 골치 아픈 부분이 바로 대칭성을 가진 물체 (Symmetric object) 들인데요, 일반적인 박스 모양의 물체들을 생각해 보면, 그 박스가 앞으로 놓여있든 뒤로 놓여있든 카메라에는 거의 똑같이 보이는 경우가 있을 것입니다. 이런 경우, 인식기가 학습을 어려워합니다. 왜냐하면 똑같은 그림을 놓고 언제는 앞이라고 답하라고 시키다가 정반대의 답인 뒤라고 답하게 시키는 거나 마찬가지이기 때문이죠. 그래서, Pix2Pose 논문에서는 앞이나 뒤 둘 다 골라도 정답이 되도록 인식기의 학습 방식을 설계하였고, 이를 통해 다른 방법들보다는 대칭성을 띠는 물체가 많은 데이터셋을 이용한 평가에서 높은 성능 향상을 보였습니다. 오픈소스로도 공개된 Pix2Pose 코드는 이후 연구실 동료들에 의해 Visual Serving을 자동 초기화하는 연구로도 발전되었고, 실제 로봇을 이용해 물체를 들어 올리고 사람에게 전달하거나 선반에 올려놓는 연구에도 활발히 활용이 되는 중입니다.

    * Pix2Pose 논문 설명 및 결과 동영상 (ICCV 2019 논문)



    하지만, Pix2Pose를 포함해서 최근 Pose estimation 연구를 현실 시나리오들에 적용하려면 넘어야 할 벽은 여전히 많습니다. 특히 대부분의 연구가 CAD 모델을 이용하여 렌더링한 Synthetic image에 의존하고 있다는 사실도 큰 벽 중의 하나입니다. 정말 사진과 같은 이미지를 얻으려면 그만큼 정교한 3D 모델이 필요하거든요. 하지만, 당장 내가 가지고 있는 컵 하나 인식시키고 로봇에게 일을 시키고 싶은데, 3D 모델은 당연히 없고 학습을 위한 이미지도 없고, 이미지를 수집한다고 하더라도 물체의 Pose를 손으로 하나하나 이미지에 기록하는 것이 쉬운 일이 아닌 거든요. 그래서 최근에는 “어떻게 실제 환경에서 사람의 도움 없이 이런 학습 데이터를 로봇 스스로 모아서 사용하게 할 것인가?”라는 질문을 해결하는 방향으로 연구를 해오고 있습니다. 물체들이 평소처럼 책상 위에 막 놓여 있고, 로봇이 그 책상을 요리 보고 저리 보고하면서 책상 위에 있는 물체 학습에 필요한 데이터를 수집하면 좋겠다는 아이디어인데, 이런 걸 Object modeling이나 Object learning이라고 보통 표현합니다. 올 8월에 대표적인 비전 학회 중 하나인 ECCV에서 발표하게 될 Neural Object Learning 논문에서 이러한 방향으로 방법론과 함께 새로운 데이터 셋 (SMOT Dataset)을 제안하였습니다. 이 논문에선 이전 방법들이 3D 모델에 정교하게 입혀진 texture 정보를 활용하거나 평균 180장 이상의 실제 이미지를 물체 하나를 학습하는 데에 사용하였던 것에 반해 최대 16장의 이미지만 가지고도 이전 방법들 수준의 높은 성능을 얻을 수 있음을 보여주었습니다. SMOT Dataset 은 학습 데이터와 테스트 데이터 모두 모바일 로봇을 이용하여 수집하였고, 학습 데이터도 사람의 입력 없이 self-annotation 되어 실제 로봇이 사무실이나 집에서 얻을 수 있는 데이터 현실을 반영하였습니다. 앞으로도 이렇게 로봇이 스스로 물체에 대한 Visual 정보를 학습하고, 실제 안전한 Manipulation으로 이어 갈 수 있는 방향으로 연구를 이어 나갈 예정입니다.


    2. 6D Pose Estimation이라는 개념이 좀 생소한데요. 3D가 아닌 6D의 의미와 6D Pose Estimation의 정의에 대해 자세히 설명 부탁드립니다.

    - 앞서 짧게 설명해 드렸듯이 보통 3D 또는 3차원은 3차원 공간상의 점을 표현하는 데 쓰입니다. 쉽게 말해 3차원의 점은 X, Y,Z 총 3가지 값으로 정의가 되어 3 degree of freedom (DOF) 인 것이죠. 하지만 물체의 Pose는 이렇게 점으로만 정의가 되지 않겠지요, 똑같이 0,0,0 좌표에 있어도 물체가 어느 방향으로 누워있냐, 서 있느냐에 따라 그 물체의 상황이 다르게 표현되어야 하니까요. 그리고 이런 물체의 방향을 설명하는데 최소한으로 필요한 숫자가 바로 3개입니다. 보통 Rigid body 물체에 대해 Rotation을 가장 간단히 정의하는 방법이 Euler angle로 나타내는 방법입니다. x축, y축, z축으로 돌아가며 몇도 씩 회전을 시켰느냐를 값으로 표현하는 방법이죠. 그래서 3개의 점 좌표 (Translation) 와 3개의 회전 값(Rotation)을 합친 6D 값을 알아맞히는 것이 6D pose estimation에서 추정하고자 하는 목표 값입니다.

    - 6D Pose estimation이라는 task가 성립되기 위해선 타깃 물체의 3D model이나 기준 좌표계가 필요합니다. 타깃 물체가 자체적으로 가지고 있는 기준 좌표계를 어떤 6개의 값으로 Transform 시켜야 카메라 좌표계에서 현재의 이미지처럼 보이게 될 것인지를 추정하는 것이 바로 pose estimation입니다. 이렇게 6D 자세 값을 추정할 수 있게 되면, 3D 모델이나 물체의 좌표계 상에 직접 그 물건을 안전하게 잡을 수 있는 Grasp 자세를 미리 저장해 놓거나, 증강현실에서 표시할 정보들을 미리 입력해 놓고, 추정된 6D 값을 그대로 적용해서 현재 카메라 좌표계 상에 정보들을 물체의 자세에 맞춰 따라다니며 표현 할 수가 있습니다.


    3. 작년 한국에서 열린 ICCV에서 발표된 논문으로 BOP Challenge 참가를 하셨던데 이에 대해 자세히 설명을 부탁드립니다.

    BOP Challenge는 Benchmark for 6D Object Pose Estimation Challenge의 약자로 지난 2017년부터 주요 Pose estimation 데이터 셋들을 가지고 연구자들이 경쟁하는 대회입니다. 총 11개의 데이터셋이 사용되고 7개가 Core Dataset 이라고 하여 각 방법의 데이터셋들에 대한 평균 성능을 측정하는 데 사용되었습니다. 저는 작년에 Pix2Pose방법으로 이 대회에 참가하였습니다. 사실 논문에서 제안했던 방법과 파라미터들이 렌더링 된 Synthetic 이미지들에 최적화되어있진 않아서 몇몇 데이터에서 성능이 좋지 않았지만, 로봇 시나리오를 감안하고 있는 두 가지 데이터셋에서 최고 성능을 거두었습니다. 바로, Yale-CMU-Berkley 대학이 로봇 Grasping benchmark의 표준화를 위해 배포한 물체를 이용하여 만들어진 YCB-V 데이터셋과 Rutgers 대학에서 Amazon picking challenge를 위해 만든 RU-APC 데이터셋입니다. 재미있는 사실은, 이 BOP Challenge에서 2017년 2019년 연속으로 종합 우승을 차지한 방법은 10년 전에 발표된 Point Pair Feature(PPF)를 이용한 방법입니다. 3D 모델과 Depth Image에서 매우 간단한 Feature를 뽑아서 매칭하는 방법인데, 딥러닝 방법의 발전속에서도 여전히 강력함을 보여주었습니다. 앞서 말씀드렸듯이 최근 딥러닝 기반 방법들은 Color image만을 이용하기에 학습 이미지나 가상으로 생성된 이미지들이 테스트 환경의 조명 환경 등을 제대로 반영하지 못하는 경우가 많아서, 상대적으로 테스트 환경에 영향을 덜 받는 Depth image 기반의 방법인 PPF가 높은 성능을 보였습니다. 반대로 Depth image 기반의 방법들은 depth image의 품질이 좋지 않거나 (RU-APC), 비슷한 모양인데 겉에 Texture가 다른 물체가 많은 경우 (YCB-V)에는 성능이 좋지 못하였습니다. 아마, 향후엔 이 두 단점을 보완한 좋은 방법이 1위 자리를 차지하게 되지 않을까 생각합니다. 올해 ECCV 2020에서도 작년에 이어서 Challenge가 열리는데 결과를 눈여겨보면 재미있을 것 같습니다.


    4. 주로 물체를 인식하고, 자세를 측정하는 연구를 많이 하시는 거 같습니다. 연구의 궁극적인 목적과 활용방법을 알고 싶습니다.

    -Object Pose가 가장 필요한 분야는 바로 로봇 Manipulation 분야이고 저의 주 타깃 분야도 이 방향입니다. 로봇이 산업 현장에서나 사무실이나, 가정에서나 쓸모 있는 임무를 수행하려면 주변 환경을 인식하고 무엇보다 사람이 사용하는 물체들을 잘 이해해야 합니다. 그리고 그 물체를 로봇 팔로 안전하게 들어서 누구에게 전달하거나, 책장이나 선반에 차곡차곡 잘 정리하는 것이 아마 로봇에게 바라는 큰 작업 중 하나일 것입니다. 그 과정에서 필요한 정보가 바로 Object pose입니다. 물체가 어떤 물체인지 인식하고 그 Pose를 알게 되면, 그 다음엔 어디를 어떻게 잡을지, 어떻게 예쁘게 놓을지는 미리 로봇에게 입력되거나 학습 시켜 놓은 정보를 바탕으로 쉽게 결정을 할 수 있습니다. 이렇게 물체의 Pose를 이용한 Manipulation은 로봇에게 어떤 물체에서 만지면 안 되는 부분 (약한 부분)이나 물체마다 적절한 Grasp pose를 학습시킬 수 있기 때문에 "드릴은 꼭 손잡이를 잡는다", "물병은 옆으로 잡는 게 좋다" 등 해당 물체에 특화된 정보를 로봇에게 전달 할 수 있다는 장점이 있습니다. 이런 장점은 강화 학습이나 오브젝트와 상관없이 Grasping에만 초점을 맞춘 Grasp estimation 방법과는 대조적입니다. 최근에는 Simulation 기술이 발전하면서 Robot의 행동들을 Simulation 상으로 미리 수행해보거나, 현재 Robot 행동에 대한 결과를 Simulation과 실제 센서 입력 값과 비교하면서 비정상적 상황을 감지하는 Digital twin 환경을 구축하는데도 Pose estimation은 매우 중요한 역할을 합니다. 실제 환경에 물건이 어떻게 놓여 있는지 알아서, Simulation 공간에 있는 물건들도 똑같은 방식으로 배치 할 수 있기 때문입니다.


    로봇 분야 말고도, 요즘 가장 뜨겁다고 할 수 있는 컴퓨터 비전 분야에서도 많은 관심을 받는 분야입니다. 가장 큰 컴퓨터 비전 학회 중 하나인 CVPR에도 올해 10편이 넘는 논문이 이 분야에서 나왔거든요. 그리고 이렇게 된 배경 중 하나는 증강현실, 가상현실 기기의 보급과 발전이 있다고 개인적으로 생각합니다. 제 ICCV논문 발표 후에 여러 회사에서 연락이 왔었는데 그 중 80% 정도가 증강현실(Augmented Reality)과 가상현실(Virtual Reality)을 개발하거나 연구하는 곳이었고, 20%가 로봇과 관련된 일을 하는 곳이었다는 사실도 이 사실을 간접적으로 뒷받침하는 것 같습니다. 개인적으로는 조금 놀라운 사실이기도 했는데, 이를 계기로 증강현실 분야에서는 어떻게 이 연구들이 사용되는지 관심을 두고 알아보게 되기도 하였습니다. 증강현실이란 쉽게 말해서 현재 카메라로 찍혀서 들어오고 있는 이미지 위에 유용한 정보를 입혀서 보여줘야 하죠. 가장 친근한 예가 아마 Snapchat이나 스노우 카메라 앱에서 얼굴 사진에 각종 필터 효과를 실시간으로 보여주는데, 사람이 얼굴을 좌우로 움직여도 그 필터가 마스크처럼 딱 달라붙어 따라다니게 하는 것이 증강현실에서 필요한 요소들을 다 보여주는 사례인 것 같습니다. 이런 기능을 잘 구현 하려면, 사람의 얼굴, 눈, 코, 입의 위치를 찾고 (Detection), 그 방향을 추정하고 (Pose Estimation), 계속 움직이는 동안 놓치지 않고 따라다니는 (Tracking) 기술이 필요합니다. 마찬가지로, 실생활 또는 산업 현장에서 증강현실 기술이 적용되는 사례로는, 어떤 새로운 기계의 사용법을 카메라가 현재 이 사람이 어디를 보고 있는지를 따라다니면서 화면에 직접 띄워 주는 경우를 생각 할 수 있습니다. 이게 가능하게 하려면 기존에 로봇을 위해 개발되어 오던 SLAM 기술로 현재 3차원 공간상에서 카메라가 어디 있는지를 아는 것이 중요하고, 카메라 앞에 물체가 어떻게 놓여 있는지를 아는 것 또한 중요합니다. 지금 물체의 앞을 보고 있는지 뒤를 보고 있는지에 따라 보여줘야 하는 설명이 달라질 수 있으니까요. 최근 6D Pose estimation 분야가 주로 단안 컬러 카메라 (Monocular camera)만을 활용하는 방향으로 발전하고 있는 이유도 태블릿 PC나 스마트폰에 있는 일반 카메라를 이용해서 증강현실 기술을 구현하기 위한 것이라고도 볼 수 있습니다. 증강현실 말고도, 제조된 물체가 얼마나 CAD 모델과 똑같이 나왔는지를 카메라로 측정하는 Visual inspection 분야에서도 CAD 모델을 먼저 정확히 주어진 이미지와 Align 시키고 그 오차를 분석해야 하므로 Pose estimation 방법들이 사용됩니다.


    5. 앞으로의 장단기 연구활동 계획이 있으시다면?

    - 단기적으로는 ECCV 발표될 논문 (Neural Object Learning)의 내용을 좀 더 발전시켜서, 로봇이 사전에 Object에 대한 어떤 정보도 없이 실제 환경에서 여러 물체를 동시에 스스로 학습하는 방향으로 연구를 할 예정입니다. 이 부분까지 완성해야 제 박사 논문의 마지막 퍼즐이 맞춰지거든요. 그러고 나면 스스로에겐 만족하는 졸업을 할 수 있을 것 같아요. - 박사 졸업 후 진로는 이제 조금씩 찾아 나가야 하지만, 희망 사항이라면 어디를 가든 기존에 있는 방법론들의 성능을 조금씩 높이는 연구보다는 실제 환경에 기존 방법들을 적용하기 위해 넘어야 할 산들을 하나씩 넘어가는 그런 연구를 계속해 나가고 싶습니다. 그게 로봇 분야일 수도 있고 증강현실이나 컴퓨터 비전 분야일 수도 있는데, 올해가 끝나기 전엔 조금씩 구체화가 되리라 믿고 있습니다.


    6. 현재 소속된 TU Wien의 ACIN, Vison for Robotics Group에 대해서 소개를 부탁드리고 이쪽으로 오시게 된 계기도 궁금합니다.

    - 저는 현재 오스트리아 비엔나 공대 (TU Wien)에서 박사과정 중으로, 소속은 Automation and Control Institute (ACIN), 그중에서도 Vision for Robotics (V4R) 연구 그룹에 속해 있습니다. 그룹의 이름에서도 알 수 있듯이 로봇에 필요한 Vision 기술들을 연구하는 그룹이고, 궁극적으로는 로봇이 카메라를 통해 세상을 잘 이해해서 필요한 작업을 수행하는 것을 목표로 합니다. 특히, 실내에서 어질러진 방을 로봇 스스로 인식하고 정리하고 청소할 수 있는 시나리오를 목표로 필요 기술들을 조금씩 발전 시켜 나가고 있습니다. 이에 필요한 기술이라면 먼저 전체 집안 환경을 모델링하고 학습할 수 있는 실내 3D reconstruction 기술을 연구하고, 기존의 scene과 현재 scene이 어떻게 다른지 비교해서 어떤 새로운 물건이 옮겨지거나 했는지 detect 하는 연구, 처음 보는 물체를 알맞게 segmentation 하거나 분류(classification)하는 연구, 제가 하는 물체의 pose estimation 연구, 측정된 Pose를 물리 시뮬레이션 등을 통해 더 정확하게 만드는 연구, 그리고 측정된 Pose를 바탕으로 물체를 집고 누구에게 주거나, 선반 등에 올려놓은 방법론 등에 대해 연구들도 하고 있습니다. 이런 연구를 바탕으로 수행했던 대표적인 프로젝트로는 EU Project인 STRANDS와 Squirrel이 있는데요. STRANDS는 사무실이나 병원 등 공공장소에서 긴 기간 동안 지속적이고 안전하게 로봇이 임무를 수행하도록 하기 위한 연구를 하는 프로젝트였습니다. 우리 연구실에서 주로 맡았던 연구는 사무실을 돌아다니면서 새로 보이는 물건이 있으면 로봇이 스스로 해당 물체를 학습하고 나중에 사람이 그 물건의 이름을 알려주면 그 이후에 인식을 할 수 있게 만드는 연구를 하였습니다. Squirrel이라는 프로젝트는 유치원에서 아이들과 함께 장난감 정리를 하는 로봇을 연구하는 것인데, 다양한 종류의 장난감 (특히 인형처럼 Rigid 하지 않은 물건들…)을 안전하게 집어 올리면서 동시에 어린이들의 돌발 상황이나 행동에도 안전을 꼭 보장하는 시스템을 연구하였습니다. 비록 오스트리아가 나라는 크지 않고 해서 한국에 많이 알려져 있진 않지만, 제가 속한 연구실은 오스트리아에서는 대표적인 로봇 연구실이고 유럽 내 로봇 연구 그룹 중에서 비전 분야로는 손꼽히는 연구실이라고 자부하고 있습니다.


    이곳으로 온 계기가 있다면, 30세라는 나이가 다시 학위를 시작하기에는 빠른 나이는 아니었기에 각종 시험 준비에 거의 1년 정도는 공을 들여야 하고 보통 코스웍까지 2년 정도 채워야 하는 미국보다는, 교수님과 서로 동의가 되면 거의 바로 박사 연구를 시작할 수 있고, 코스웍에 대한 로드가 거의 없는 유럽 쪽을 좀 더 고려하게 되었습니다. 회사에서 일했던 6년이란 긴 시간 동안 코딩한 줄 안 하고 연구를 쉬었기 때문에, 그 시간에 최근 연구들 공부하고 필요한 이론을 다지며 무장을 하다가 바로 연구를 시작하는 게 낫겠다는 판단이었습니다. 그리고, 이곳은 박사과정 연구원이 연구 프로젝트에 참여하는 경우 그 대우가 정부 연구소에서 근무하는 정규직 근로자와 크게 다르지 않고, 휴가 등 복지 정책도 잘 되어있어서, 연구와 삶의 균형을 잘 맞출 수 있겠다는 기대도 컸던 것 같습니다. 더불어, 비엔나라는 도시 자체가 너무 매력적으로 보였던 점도 있습니다. 세계에서 살기 좋은 도시 1위로 매년 소개되는데 도대체 얼마나 살기 좋은 곳일까 궁금하기도 했습니다. 어느덧 4년이란 시간이 흐른 지금 돌아봐도, 하고 싶은 연구 자유롭게 하고 가족과도 시간을 충분히 보내며 지낸 만족스러웠던 시간이었던 것 같습니다.

    * Kenny (Squirrel 프로젝트) 작동 영상




    7. 영향을 받은 연구자가 있다면? 또한 어떤 영향을 받으셨는지 궁금합니다.

    - 제일 먼저, 현재 지도 교수님인 Markus Vincze 교수님과 제 동료들이 저의 연구에는 가장 영향을 많이 줬다고 생각합니다. 학회 가서도 제 연구 분야 논문 보이면 바로바로 알려주고 생각을 공유해 주고, 서로 도와가며 지금까지 연구해오고 있으니까요. 특히 제가 하고 싶어 하는 연구 주제와 방향, 의견에 늘 Wonderful을 외치며, 단 한 번도 No를 한 적이 없는 지도 교수님 덕에 자신 있게 제 주제를 고민하고 계속 발전시킬 수 있었던 것 같습니다.

    연구하는 과정에서는, 연구실에 Pose estimation을 직접 하는 사람이 없었기 때문에 Pose Estimation 쪽으로 그동안 많은 연구를 해왔던 세계의 많은 연구자에게 모두 영향을 받은 것 같습니다. 주로 유럽에서 연구가 활발한 편이기도 해서 대부분 유럽에 계신 분들인데, 그분들과 연구실 구성원분들이 저에겐 스승과도 존재였다고 할 수 있습니다. 특히 같은 오스트리아 내 TU Graz의 Vincent Lepetit 교수님을 비롯하여 뮌헨 공대의 Slobodan Ilic, Nassir Navab, Federico Tombari, 그리고 EPFL의 Pascal Fua, NVIDIA/워싱턴대의 Dieter Fox, Imperial College London의 김태균 교수님 등 훌륭한 그룹의 연구와 논문들은 박사과정 초기에 교과서처럼 활용되었고 많은 공부가 되었습니다. 지금도 이 분야의 연구 방향과 이슈를 파악하기 위해 해당 그룹의 논문을 열심히 읽고 공부하고 있습니다.

    -더불어서, 안정적인 직장 생활을 하고 있던 제 삶을, 불확실하지만 큰 꿈을 키울 수 있는 연구의 세계로 다시 돌아오게 하는 데 있어서, 가장 큰 영향을 준 사람을 꼽으라면 당연히 제 석사과정 때 사수였던 구성용 박사님입니다. 구 박사님은 예전에 본 대학에 있을 때 신진연구자 인터뷰도 하셨던 거로 기억하는데, 지금은 Pick it 3D라는 로봇에 비전 솔루션을 제공하는 회사의 한국 Country Director로 근무 중이십니다. 저에게 갑자기 독일에 있는 학교들과 독일 내 박사과정의 특징에 관해 설명을 해주시면서 박사 유학 어떠냐고 물어보시더라고요. 마침 그때가 알파고가 이세돌 9단을 격파하면서 인공지능의 새로운 바람이 불어올 때였고, 저도 비록 석사 졸업 이후 로봇 연구는 안 하고 있었지만, 집에 3D 프린터와 각종 장비를 구비해 놓고 취미로 로봇을 만들고 있으면서 "취미로 하기엔 너무 재밌다"라는 생각을 하고 있었거든요. 마침 그때 그렇게 정보를 알게 되니 유학을 적극적으로 고려하게 되었던 것 같아요. 지금 연구실도 구성용 박사님 통해서 처음 알게 되었고, 연구 주제가 제가 하고 싶은 분야와 비슷해서 따로 메모해 놓았다가 박사 Open position 공고를 보고 지원을 하기도 했고요. 지금도 인생의 선배로서 늘 영향을 받는 중입니다. 그리고 유학을 결심하는 과정에 있어서, 한사람이 아닌 한 집단에 영향을 많이 받았는데, 바로 "로봇 공학 열린 모임 (로열모)" 입니다. 회사에 다니는 중이어서 적극적으로 참여를 하진 못했지만, 이곳에 올라오는 각종 로봇과 관련된 소식, 그리고 운영진들의 열정, 그리고 운영진 중 한 분이셨던 표윤석 박사님의 하루짜리 ROS 강의에 참여했던 건 저를 자극하면서 동시에 연구의 기본 지식을 쌓는 데 큰 도움이 되었던 것 같아요. 이 자리를 빌려서 그 커뮤니티를 딱 그 시기에 키워주시고 활발한 모습, 진짜 로봇 하는 즐거움을 보여주셨던 모든 분들에게 감사를 드리고 싶습니다.




    8. 연구활동 하시면서 평소 느끼신 점 또는 자부심, 보람

    - 로봇 연구를 하는 사람답게, 로봇이 뭔가 제대로 일을 해내면 그때만큼 기쁠 때가 없는 것 같습니다. 사실 석사 연구를 로봇 분야로 하면서 느낀 점이…'아 로봇은 정말 생각보다 똑똑하지 않구나… 갈 길이 멀구나' 였고, 그로 인해 로봇이 아닌 다른 분야로 진로를 선택했었거든요. 하지만 최근 인공지능 기술 발전 덕에 로봇도 아주 똑똑해졌고 이제는 할 수 있는 일이 점점 많아지고 실제로 잘하게 되었어요. 특히, 제가 구현한 방법이 제공해 주는 물체의 자세 정보가 다양한 환경에서도 안정적으로 정확한 Pose를 제공해 주고, 로봇이 큰 실수 없이 임무를 수행하고 있는 걸 볼 때 보람을 많이 느낀 것 같아요. 최근에는 미국의 한 로봇 스타트업에서 제 논문의 공식 구현 코드로 로봇 실험을 하고 있는데 잘 된다고 감사하다는 연락도 받고, 다른 연구자들이 제 연구를 하고 다른 실험을 올려서 하는 것을 보면 이 분야에 작지만 기여를 하고 있다는 느낌도 받습니다. 그리고 Pose estimation 쪽 연구자들이 대부분 Computer vision 중심의 연구를 하고 있어 로봇에 대해 잘 모르거나 경험이 없는데 반해, 저의 경우 연구실에 로봇도 많고, Pose estimation 결과를 바로바로 로봇에서 테스트하고 실제 문제를 발견하고 해결할 수 있다는 점에서 좀 차별화되는 장점이 있다고 자부심도 가지고 있습니다.

    9. 이 분야로 진학(사업) 하려는 후배들에게 조언을 해 주신다면?

    -저는 6년이나 일하던 직장을 나와 새로운 분야로 박사 진학을 한 입장으로서, 혹시 공부하거나 연구하고 싶은 게 있는데 현재 하는 직업, 전공과 관련이 없어서 망설이는 분들에게 도움이 되실까 하여 조언 보다는 저의 이야기를 간략히 해드려 볼까 합니다. 이전 직장에서는 자동차에서 인간공학에 관한 연구와 업무를 하였는데, 한마디로 아예 비전 분야와 관련이 없었습니다. 그러다가, 로봇 비전 분야에 관심을 두고, 유학을 준비하면서, 퇴근하고 나면 유튜브로 컴퓨터 비전 분야 수업도 듣고 논문도 읽어보고, 직접 구현도 하면서 한 6개월 정도 지냈던 것 같습니다. 육아까지 해야 했던 상황이라 공부할 시간이 되면 몸이 천근만근이었지만, 회사에서 하는 일보다 훨씬 재밌고, 더 오래오래 하고 싶다고 생각했던 것 같아요. 그러다가 마침 딱 하고 싶은 연구실에서 박사 과정을 뽑는다는 공고를 보고 6개월 동안 했던 프로젝트들 동영상과 느낀 점, 박사 과정 가면 하고 싶은 연구를 커버 레터에 구구절절 써서 보냈고, 이렇게 유학을 오게 되었습니다. 밤에 모든 일과를 마쳐야만 할 수 있던 연구를 아침부터 퇴근 시간까지 마음껏 하니 너무 좋더라고요. 그런 즐거움이 졸업을 위해 마무리 단계에 있는 지금까지도 계속 이어지고 있는 것을 보면, 지난 결정들에 후회는 없는 것 같습니다. 혹시, 비슷한 상황에 계신 분이 있어 새로운 분야로의 도전을 고려하고 계신다면, 마치 파일럿 테스트를 하듯 퇴근 후에 새로운 분야를 공부하고 도전해보면서 정말 즐길 만한 일인지 확인해 보면 좋지 않을까 생각합니다. 그 일을 정말 아침부터 저녁까지 계속해도 즐거울 수 있다는 확신이 든다면... 그리고 주변의 상황이 허락된다면, 더 늦기 전에 도전해 보시기를 감히 추천해드리고 싶네요. 다만, 이런 즐거움을 유지할 수 있는 확신이 드는 좋은 곳을 찾는 것이 먼저일 테니 끊임없는 정보 수집도 필수입니다.


    10. 다른 하시고 싶은 이야기들.

    - 로봇 비전 분야가 다소 생소하실 수 있는데 긴 글 읽어 주셔서 감사드리고 이렇게 인터뷰에 초대해 주셔서 감사합니다. 로봇 비전 연구자로 새롭게 살아온 시간이 길지 않아 아직 내세울 만한 연구가 많지는 않지만, 이 기회에 제 지난 4년간의 연구를 돌아볼 수 있었던 소중한 기회였던 것 같습니다. 오스트리아에도 이런 연구하는 그룹이 있다는 사실을 알릴 수도 있게 되어 정말 기쁩니다. 앞으로도 메릭의 무궁한 발전을 기원합니다.


    *. 박기루 박사의 최근(대표) 논문

    - Kiru Park, Timothy Patten, and Markus Vincze, Neural Object Learning for 6D Pose Estimation Using a Few Cluttered Images, European Conference on Computer Vision (ECCV), Spotlight (to appear), 2020

    - Kiru Park, Timothy Patten, and Markus Vincze, Pix2Pose: Pixel-wise Coordinate Regression of Objects for 6D Pose Estimation, International Conference on Computer Vision (ICCV), Oral, 2019

    - Kiru Park, Timothy Patten, Johann Prankl, and Markus Vincze, Multi-Task Template Matching for Object Detection, Segmentation and Pose Estimation Using Depth Images, International Conference on Robotics and Automation (ICRA), 2019

    - Timothy Patten, Kiru Park, and Markus Vincze, DGCM-Net: Dense Geometrical Correspondence Matching Network for Incremental Experience-based Robotic Grasping, Frontiers in Robotics and AI [under revision], 2020

    - Kiru Park, Johann Prankl, and Markus Vincze, Mutual Hypothesis Verification for 6D Pose Estimation of Natural Objects, International Conference on Computer Vision Workshop (ICCVW), 2017

     

    • 페이스북아이콘
    • 트위터 아이콘

    전체댓글 0

    [로그인]

    댓글 입력란
    프로필 이미지
    0/500자

    서브 사이드

    서브 우측상단1