3793
1
0
박대형(Daehyung Park)(KAIST 전산학부, AI대학원 겸임 교수) / daehyung at kaist.ac.kr
2021-05-10
| 1. 본인의 연구에 대해서 자세한 소개를 부탁 드립니다. 저의 연구는 인간중심 로보틱스(Human-centered Robotics)로써, 비전문가인 일반인의 가까이에서 소통을 통해 다양한 협업과 보조를 할 수 있는 모바일 매니퓰레이터(mobile manipulator)를 개발하는 것입니다. 이러한 로봇은 다양한 작업 및 환경에 대한 이해, 계획, 수행 능력을 필요로 합니다. 이를 위해서, 우리 연구실은 이용가능한 최대한의 데이터를 로봇이 효율적으로 이용 가능한 내재공간에 투영함으로써 기계학습을 바탕으로 한 요소기술의 연구에 힘쓰고 있습니다. 오늘은 그중에서 세 가지 대표 기술인 시연학습, 자연어 기반 작업 및 경로 계획, 모니터링 방법론을 소개해 드리고자 합니다. [시연학습] 먼저, 사람의 다양한 스킬 시연데이터를 로봇이 학습하여 능숙한 작업수행을 가능하게 하는 연구입니다. 사람의 작업을 학습하기 위해서는, 작업의 목적과 제약조건 등의 이해가 필요하며, 이는 기존의 시연 학습(Learning from Demonstration)과 깊은 관련이 있습니다. 이와 관련하여, Dynamic Movement Primitives (DMPs)로 유명한 Stefan Schaal교수님과 관련 연구를 진행하였고, 최근에는 역강화 학습(inverse reinforcement learning)이라는 간접적인 시연학습 방법론에 중점을 두고 있습니다. 이는 간접적인 시연학습 방법으로써 작업의 목적함수(reward function) 학습을 위해 많이 사용되고 있습니다. 기존의 시연학습 방법론들은 작업에 내재한, 특히 안전한 작업에 필수적인 충돌방지 및 사람들이 선호하는 줄 맞춤 등의 스킬 적용에 필요한 제약 조건들을 학습할 수 없다는 단점이 있었습니다. 저희의 최신 연구는 Bayesian non-parametric estimation을 바탕으로 사람의 시연 데이터(demonstrations)를 계층적 분할하여 적재적소에 필요한 제약 조건들을 발견해내는 데 집중하고 있습니다. 이를 통해 새로운 subgoal과 constraint기반의 표현력이 높고 효율적인 작업표현 방법을 제안하였습니다. [제약조건 기반의 스킬학습] [자연어 기반 작업 및 경로 계획] 이제 스킬을 가진 로봇을 효과적으로 활용하기 위해서는 사람의 명령과 작업환경에 대한 이해와 더불어 지능적인 작업계획 능력이 필요합니다. 예를 들어 “무거운 박스 가져와” 등을 수행하기 위하여 로봇은 주어진 물체들의 무거움 및 상대적 위치에 대한 의미를 이해뿐만 아니라 새로운 지식, 변화에 따른 수행계획을 세울 수 있어야 합니다. 이를 위해, 저희는 베이지안 멀티모달 의미 지식 추론(Bayesian Multimodal Semantic-knowledge Estimation) 알고리즘을 제안하여 사람으로부터의 자연어 입력과 환경과의 물리적 상호작용을 통해 물체에 내재한 의미 상태를 추론하고 강인한 추론을 위하여 지식을 개선해 나갈 수 있게 하였습니다. 또한, 표현력이 풍부한 시제논리(temporal logic) 기반의 작업 및 경로 계획을 통해 자연어에서 완전하고 효율적인 계획으로 이어지는 파이프라인들을 연구하고 있습니다. [변화에 강인한 작업 계획/수행 방법] [모니터링] 마지막으로 위와 같은 기능을 가진 로봇을 사람 주변에서 활용하는 것에 가장 주의해야 하는 점은 안전입니다. 어떠한 작은 이상 상황도 몸을 제대로 가누지 못하는 노인/장애인분들에게는 큰 부상으로 이어질 수 있기 때문입니다. 이를 위하여 저희는 범용 다관절 로봇의 다양한 센서들을 바탕으로 평소와 다른 이상 상황의 감지, 분류를 할 수 있는 기계학습기반 감시/분류 알고리즘인 멀티모달 모니터링 시스템을 소개하였습니다. 본 연구에서는 다양한 센서들의 시간적 관계특성(Multimodal co-occurrence)을 확률적으로 모델링함으로써 입력정보의 우도에 변이 역치에 따라 추론의 효율성을 극대화 할 수 있음을 보였고, 이를 노인과 장애인들을 위한 적극적 식사 보조 시스템(Robot-Assisted Active Feeding System)을 개발/적용하였습니다. 이는, 미래의 고령화 사회에서 로봇 사용에 크게 기여할 중요한 연구로 인정되어 Mouser의 “Generation Robot” 시리즈, IEEE Spectrum에 소개되기도 하였습니다.  [A Multimodal Execution Monitor with Anomaly Classification for Robot-Assisted Feeding]  이러한 연구는 기존의 사람밖에 해올 수 없었던 제조, 가사, 헬스케어 등의 작업에 새로운 기회를 제공해줄 것으로 생각됩니다. 이는 궁극적으로 우리의 다양한 의도를 파악하여 안전하고 효과적인 보조/협력 작업을 수행할 수 있는 로봇을 개발하는데 일조할 것입니다. 2. 2020년 IJRR 논문에서 실 환경에서의 강인한 계획 수행을 위한 모델을 제안하셨는데 어떤 연구인지 소개를 부탁드립니다. - 해당 논문은 부분적 관찰 가능한 환경에서 사람의 지시에 따라 강인하게 작업 수행하는 모델을 개발하는 것을 목표로 하였습니다. 일반적으로, 로봇들의 명령 해석과 수행 능력은 세계모델(world model)이라고 하는 지식에 기반하며, 물체들의 특성과 공간적 관계에 관한 지식을 추론하기 위하여 시각, 촉각과 같은 다양한 모달리티가 사용 가능합니다. 우리 연구팀은 1) 모달리티들의 오류, 노이즈, 모순된 정보에 강인하게 새로운 지식을 습득하고, 2) 작업자의 지시내용을 추론하고, 3) 작업을 수행하기 위하여 시-촉각 등의 관찰정보와 언어적 지식을 내재공간에서 융합하여 효과적인 판단을 가능하게 하는 확률 모델을 소개하였습니다. 또한, 휴먼-로봇 협력 작업에서 로봇과 사람 사이의 지식 부조화를 커뮤니케이션을 통해 해결하는 방법을 제공하고, 언어 이해와 생성을 반복하여 언어적 상호작용과 세계 상태에 대한 그라운딩을 추론/예측하는 효율적인 체계를 제안하였습니다. 이를 통해, 사용자로부터 기술된 사실과의 불일치를 바로잡는 문장들을 생성하는 매니퓰레이션 기술을 보였습니다. 본 연구는 미국 로봇협동기술연합(Robotics Collaborative Technology Alliance:RCTA)에 속한 ARL, MIT, 카네기멜론대, 펜실베니아대, 플로리다주립대 등과의 협업을 통해 소개되었습니다.  [물리적 상호작용을 이용한 세계모델 업데이트 데모] [실환경 정찰로봇 데모) 3. 주로 모바일 매니퓰레이터를 이용한 연구를 하고 계신 걸로 알고 있습니다. 현재 이러한 연구는 어느 수준까지 왔으며, 추가로 극복해야할 문제는 무엇인지 궁금합니다. - 모바일 매니퓰레이터는 주행이 가능한 모바일 로봇과 하나 이상의 로봇 팔을 가진 로봇 플랫폼으로 사람과 같은 물체의 조작능력과 이동능력을 겸비한 로봇입니다. 이는 다양한 환경에서 인간과 같은 작업수행이 가능하여, 다양한 보조/협업이 가능할 것으로 예상되는 범용 목적의 로봇 플랫폼입니다. 현재, 많은 스타트업과 토요타와 같은 대기업의 연구소가 그 상업적 가능성에 주목하여 활발히 연구를 진행하고 있으며, 조만간 세탁물 이동, 설거지 물품 이동 등 간단한 가정 내의 작업을 자동화하는 제품들이 출시될 것으로 예상됩니다. 이러한 제품의 연구/개발에 있어 제일 큰 문제는 기존의 데이터에 기반한 학습모델을 적용하기에는 실 환경에서의 작업상황이 너무나 다양하기 때문에 일반화의 어려움이 있다는 것입니다. 이를 해결하기 위해서는 좀 더 다양한 데이터의 취득 또는 환경에 강인한 모델이 필요할 것입니다. 이를 위해 시뮬레이션 기반의 세계전이학습(Sim2Real Transfer Learning)이 더욱 확대될 것으로 예상되며, 또한 고차원의 데이터 표현을 바탕으로 외란 등에 강인한 학습모델이 기존의 로봇 기능을 강화할 수 있을 것으로 예상합니다. 4. 교수님이 운영하고 계신 RIRO(Robust Intelligence and Robotics) Lab.에 대한 소개를 부탁드립니다. - Robust Intelligence and Robotics (RIRO) 랩은 KAIST 전산학부에 위치한 연구실로, 로봇 학습을 통해 가정에서 공장까지 다양한 환경에서 사람과 소통하고 협력/보조 할 수 있는 로봇 기술을 연구하는 곳입니다. 본 연구실은 Experimental Robotics를 지향하며, 이론을 통한 방법론의 연구와 이의 실증을 동시에 진행할 예정입니다. 이를 위하여 자연어 그라운딩, 스킬 학습, 작업 및 경로계획, 기계 상식기반의 방법론 연구 등의 네가지 방향에서 연구를 진행, 최종적으로 범용 모바일 매니퓰레이터를 지능화할 것입니다. 본 연구실은 로보틱스와 인공지능에 열정을 가진 우수한 석/박사과정 학생을 전산학부(cs.kaist.ac.kr), AI 대학원(gsai.kaist.ac.kr), 로봇학제전공(rp.kaist.ac.kr)등을 통해 모집하고 있으며, 특히, 문제를 해결하려는 의지와 행동력을 가진 학생들을 찾고 있습니다. 본 연구실의 학생들은 기계에서 전산까지 다양한 백그라운드를 가지고 있으며, 연구 주제에 따라 인공지능, 기계학습, 기구학, 제어에 걸친 요소 기술들을 학습/연구하고 있습니다. 또한, 향후 연구소나 학계로의 진출을 적극적으로 장려하고 있으며, 더 많은 경험을 쌓게 하기 위해 MIT, IIT-Delhi 등 세계 유수 기관의 동료들과 협업을 진행/예정입니다.  5. 영향을 받은 연구자가 있다면? 또한 어떤 영향을 받으셨는지 궁금합니다. - 제 연구 방법론 또는 지도 방향은 저의 박사후과정 지도 교수님이신 MIT의 Prof. Nicholas Roy 교수님으로부터 많은 영향을 받았습니다. 약 2년 반의 연구를 통해, 연구의 정의와 지도 방향 등의 철학에 관해 정립을 할 수 있는 시간을 가질 수 있었습니다. 본 인터뷰를 통해 중요하다고 생각하는 것을 간단히 적어보겠습니다. 연구에서는 “연구의 XYZ”를 정의하는 것이 중요합니다. 여기서, xyz는 (x) 어떤 문제를 풀 것인가, (y) 그것은 얼마나 가치가 있고 어려운가, (z) 제안할 수 있는 솔루션은 무엇인가를 나타내며, 마지막으로 무엇을 로봇을 통해 보여줄 수 있는가를 고민함으로써 더 좋은 연구를 진행하고 지도할 수 있는 자신감을 느끼게 되었습니다. 본 인터뷰를 읽는 학생분들이 있다면 한번 고민해보시기를 추천해 드립니다.  6. 연구활동 하시면서 평소 느끼신 점 또는 자부심, 보람 - 로보틱스 분야에서 연구 활동을 하면서 자부심 또는 보람을 느꼈을 때는 모든 로보틱스 분야의 연구자분들이 동의하지 않을까 싶습니다만 로봇이 현장에서 성공적으로 동작을 했을 때입니다. 아마도, 저는 특히 산업계와 학계 양쪽에서 다양한 연구, 개발, 데모를 진행하면서 성공적인 작업수행을 보일 때마다 매우 큰 쾌감과 자부심을 느낍니다. 그중에서도 사람을 위한 보조 로봇(Assistive robot)을 연구/개발하면서 장애로 인해 간병인/보조 인력 없이 독립적인 생활이 불가능한 분들이 실험을 통해 본인들의 독립성을 되찾을 수 있는 가능성을 보게 되어 너무 행복하다는 얘기를 들었을 때, 내 연구가 누군가에게 이렇게 큰 행복을 줄 수 있다는 것에 매우 큰 보람을 느낄 수 있었습니다.  7. 이 분야로 진학(사업) 하려는 후배들에게 조언을 해 주신다면? - 로보틱스는 다학제 분야로서 기계, 전자, 전산, 항공, 바이오 메디컬 분야 등 다양한 분야의 지식이 필요합니다. 따라서, 학사 또는 석사과정에서는 최대한 많은 경험과 폭넓은 공부를 하는 것을 강력하게 추천합니다. 또한, 로보틱스는 AI에서의 agent를 이용한 연구와는 달리 물리적인 로봇을 통해 검증하고 그 가능성을 보이는 것이 매우 중요합니다. 따라서, 더 적극적으로 무언인가를 만들고 실환경에서 도전해보려는 의지를 갖고 본 분야로 진학하시길 바랍니다. 추천 과목은 Numerical Analysis, Robotics, AI입니다. 8. 앞으로 진행할 연구 방향이나 목표가 있으시다면? - 미래에는 다양한 실환경에서 사람과 협력 가능한 강인한 지능을 가진 로봇이 요구되어 질 것입니다. 이를 위해서는 로봇은 더 많은 저수준의 센서 정보를 결합하고 더욱 복잡한 문제를 풀 수 있어야 하겠죠. 하지만, 기존의 학습/계산 방법론은 물리적 계산능력이 높아진다고 하여도 그 한계에 부딪힐 것입니다. 따라서, 로봇은 사람처럼 어떤 문제를 간략화하고 대체물로 사고하는 semantic understanding 능력이 필요해질 것입니다. 피아제의 인지발달론에 따르면 사람은 보통 2~3살 전후로 이러한 능력을 갖추고 세상을 이해하기 시작한다고 합니다. 이를 위해 본 연구실에서는 미래연구로써 semantic learning & reasoning 분야로의 로봇 기술 융합을 계획하고 있습니다. 이는 향후 일반화를 위한 의미 기반 추론, 기계 상식 (machine commonsense) 연구들과 결합하여 지속가능한 학습을 통해 우리 사회에 필요한, 또한 신뢰 가능한 로봇 팀메이트를 소개할 수 있게 될 것입니다. 9. 다른 하시고 싶은 이야기들. - 우리 사회는 고령화 등에 따른 노동력 부족과 동시에 아직 물리적으로 힘들고 위험한 일들이 많이 있습니다. 로봇은 사람과의 협력을 통해 이러한 문제를 해결할 수 있는 가능성을 가지고 있으며, 이를 위한 서비스 로봇 시장은 현재 매우 급격하게 성장하고 있습니다. 우리 대한민국이 이를 선점한다면 전후방 산업에 대한 파급력이 높은 점을 고려하였을 때 산업의 발전과 새로운 일자리 창출이라는 매우 큰 기회가 우리에게 주어질 것입니다. 우리 연구실 또한 이를 해결하기 위해 많은 기술의 연구/개발과 인재 양성에 힘쓸 예정이며, 다른 유관분야의 연구진과 협력을 이어나갈 예정입니다. 앞으로 우리 연구실의 연구를 지켜봐 주시기 바랍니다. *. 박대형 교수의 대표(최근)논문 [1] Daehyung Park*, Jacob Arkin*, Subhro Roy, Matthew R. Walter, Nicholas Roy, Thomas M. Howard, and Rohan Paul. "Multi-Modal Estimation and Communication of Latent Semantic Knowledge for Robust Execution of Robot Instructions", The International Journal of Robotics Research (IJRR), 2020. (*- authors contributed equally) [2] Daehyung Park, Yuuna Hoshi, and Charles C. Kemp. “A Multimodal Anomaly Detector for Robot-Assisted Feeding Using an LSTM-based Variational Autoencoder”, IEEE Robotics and Automation Letters (RA-L), 2018. [3] Daehyung Park, Hokeun Kim, and Charles C. Kemp. “Multimodal Anomaly Detection for Assistive Robots”, Autonomous Robots, 2018. [4] Shen Li*, Daehyung Park*, Yoonchang Sung*, Julie A. Shah, and Nicholas Roy, "Reactive Task and Motion Planning under Temporal Logic Specifications", IEEE Int'l. Conf. on Robotics and Automation, 2021. (ICRA2021) (*- authors contributed equally) [5] Daehyung Park, Michael Noseworthy, Rohan Paul, Subhro Roy, and Nicholas Roy. "Inferring Task Goals and Constraints using Bayesian Nonparametric Inverse Reinforcement Learning", Conference on Robot Learning (CoRL2019) (Oral presentation) |
- Human-centered Robotics
- demonstrations
- Learning from Demonstration
- Dynamic Movement Primitives (DMPs)
전체댓글 0
모바일