1. 본인의 연구에 대해서 자세한 소개를 부탁 드립니다.

- 최근 로봇 공학과 메카트로닉스의 발전으로 다양한 형태를 가지는 차세대 로봇들에 대한 연구가 진행되고 있습니다. 대표적으로는 [그림 1]과 같은 휴머노이드나 모바일 메니퓰레이터 등의 모바일 기반 로봇이 있습니다. 이러한 로봇들은 기존의 산업용 로봇들과는 다르게 많은 관절들을 가지고 있어 인간 중심의 생활 환경에서 활용가능성이 있다는 점에서 많은 주목을 받고 있는데요. 저의 연구를 한 마디로 정의하자면 휴머노이드나 모바일 메니퓰레이터를 이용한 최적 업무 플래닝 (Optimal Planning) 및 최적 제어 (Optimal Control)입니다.


여기서 말하는 ‘최적’이라는 단어가 의미하는 것이 무엇일까요? 보다 쉽게 설명하기 위하여 우리의 일상 생활을 예로 들어 보겠습니다. 저희는 운전을 하면서 급한 전화를 받거나, 길을 걸으면서 커피를 마시는 등 여러 가지 업무들을 동시에 혹은 우선순위화하여 수행할 수 있습니다. 하지만 이러한 능력을 앞서의 모바일 기반 로봇들에게 부여하는 것은 다음의 이유로 매우 어려운 주제입니다. 첫 째로, 로봇은 인간처럼 주변 환경을 동적으로(Dynamic) 인식하여 빠르게 우선순위화 하는 알고리즘이 필요합니다. 예를 들어, 사람이 운전을 하다가 급한 업무전화가 온다면, ‘듣고 있던 라디오를 끄고’, ‘잠시 차를 갓길에 세운 뒤’, ‘전화를 받는’ 식의 우선순위를 둔 채 행동하게 됩니다. 하지만 로봇이 이러한 우선순위를 정해서 행동하는 것을 할 수 있게끔 수학적으로 알고리즘을 작성하는 것은 매우 어렵습니다. 둘 째로, 만약 로봇이 이러한 업무들을 효과적으로 우선순위화 하더라도, 이러한 업무들을 효율적으로 수행 (제어)할 때 로봇의 안정성 (Stability)을 보장하는 것은 매우 어렵습니다. 이는 아무리 모바일 기반 로봇이 산업용 로봇과 다르게 많은 수의 관절을 가지고 있다고 하더라도 인간과 다르게 제한적인 움직임만을 수행할 수 있으며 종종 로봇의 움직임의 발산을 야기하기 때문입니다. 이해를 위해 미국 국방부에서 열린 DARPA 로보틱스 챌린지 (세계재난구조로봇대회) 중에 발생한 로봇 제어의 발산 영상을 보여드릴게요. 로봇이 갑자기 이상한 움직임을 보이면서 쓰러지는 게 보이시나요? 수 많은 연구팀들이 지금까지도 활발히 연구를 하고 있지만, 아직까지 도전적인 과제라는 점에서 저는 제 연구 분야에 큰 매력을 느끼고 있답니다.

[동영상 1] Compilation of Robots Falling Down at the DARPA Robotics Challenge



저는 이러한 문제를 계층적 2차 계획법 (Hierarchical Quadratic Programming) 기반 제어기와 유연한 업무 전환 기법 (Continuous Task Transition)을 이용하여 해결하고자 하였습니다. 기존의 로봇 시스템들이 각각 오프라인 업무 플래닝과 실시간 제어기라는 2가지 하위 시스템을 이용하여 모바일 기반 로봇들을 작동시켰다면, 저는 이 두 가지를 결합하여 실시간으로 동작하는 하나의 시스템을 제안하였습니다. 이러한 학술적 기여를 인정받아, 로봇 분야 최고 권위 학회인 International Conference on Robotics and Automation (ICRA) 2019에 논문을 발표할 수 있었으며, Cybernetics 분야 권위 학회인 International Conference on Advanced Robotics and Mechatronics (ICARM) 2019에서 Best Conference Paper Award를 수여받았습니다.

또한, 위에서는 모바일 기반 로봇에 대해 말씀드렸지만, 서울대학교에서 박사과정기간 동안, 그리고 지금 에든버러 대학교에서 Research Associate기간 동안 다양한 로봇 분야의 연구 분야에 대해서도 학술적, 기술적 기여를 해왔습니다. 예를 들어 로봇을 활용한 심폐소생술 장치나 VR을 활용한 가상 현실 속 아바타 제어, 그리고 인간의 파지력을 로봇 손에 전송하는 알고리즘의 개발 등을 해왔습니다. 저의 연구에 대해 보다 관심이 있으신 분은 제 홈페이지를 방문해 주세요. (https://ggory15.github.io)


2. 2015년 DARPA 챌린지에 스튜던트 리더로 나가신 걸로 알고 있습니다. 이에 관한 논문을 쓰셨던데 간단히 전략이나 에피소드에 대해서 이야기를 해 주시겠습니까? 또한 DARPA 챌린지를 통해 본인에게도 큰 의미가 있었을 거 같습니다.

- 지난 2011년, 일본 후쿠시마 원전사태 때 인간이 진입 불가능한 구간이 많아, 원전 피해가 예상보다 커졌던 상황을 독자분들은 다 기억하실 것입니다. 이러한 점을 극복하고자, 미국 국방성에서는 매우 위험한 재난 현장에서 인간 대신 로봇을 투입하여 피해를 최소화하고자 하였으며, 이를 위해 세계 각국의 로봇 기술력을 한 자리에 끌어모으는 대회를 개최하였습니다. 이 대회가 2015년 6월, 미국 캘리포니아에서 미국 국방성 산하 방위고등연구계획국(DARPA)에서 주최하는 'DARPA 세계 재난로봇 경진대회(DRC)’입니다.

한국·미국·일본·독일·이탈리아·홍콩 등 6개국 24개팀이 이번 대회에 참가했고 저는 한국의 3개의 대표팀 중 서울대학교 대표팀인 Team SNU의 학생 리더를 맡았었습니다.

해당 대회에서는 각 팀들이 모바일 기반 로봇을 이용하여, 후쿠시마의 원전사태 때 필수적으로 행하여야 하는 미션들을 수행하여야 했는데요. 구체적으로, [그림 2]와 같이 총 8개의 과제로 이루어져 있으며 이 8개의 과제를 연속적으로 1시간 내에 수행하여야 했습니다.



(1) Drive: 로봇이 자동차에 올라탄채로 장애물을 피해 운전하여야 한다.
(2) Egress: 로봇이 자동차에서 스스로 내려야 한다.
(3) Door: 로봇이 문 고리를 스스로 파악하여 문을 열고 들어가야 한다.
(4) Valve: 로봇이 벨브의 위치를 파악하여 벨브를 잠궈야한다.
(5) Wall: 로봇이 드릴을 잡고 동작시켜서 석고 보드를 뚫어야 한다.
(6) Surprise: 대회 당일날 공개되는 임의의 미션을 수행하여야 한다. 실제 대회에서는 스위치를 누르고 끄기, 전기 스위치를 내리기 등을 수행하여야 하였다.
(7) Rubble: 험지를 극복하여 보행하여야 한다.
(8) Stairs: 계단을 극복하여 보행하여야 한다.


저희 Team SNU는 2014년 9월 팀을 구성하여, 2015년 1월 하드웨어를 제공받아 실제 실험에 돌입하였으며, 하드웨어는 국내 휴머노이드 제작회사인 로보티즈(Robotis)에서 개발한 휴머노이드 똘망(Thormang)을 사용하여, 8개 중 총 4개의 미션 (Driving, Door, Valve, Wall)을 성공하였답니다.

[동영상 2] Team SNU의 결과 영상



비록 24개의 팀 중 12위를 하여, 우수한 성적을 거두었다고 명시적으로 말할 순 없겠지만, 본 대회를 통해서 저는 훌륭한 로봇 공학자로서 성장하기 위해서는 이론과 실험 사이의 균형을 갖추어야 한다는 것을 깨우쳤습니다. 본 대회에 학생 리더로 참가하기전까지 저는 실험실에서 수학을 기반으로 한 제어기 개발에 줄곧 매진해 왔었습니다. 하지만 제가 개발한 제어기들은 실험실 안에서 최상의 조건을 구축한 시뮬레이터와 간단한 로봇 실험을 통해서만 검증해왔 뿐이었죠. 하지만, 대회에서는 실제 인간 중심의 복잡한 환경에서 이루어졌기 때문에 몇몇가지의 미션을 수행할 수 없었습니다. 예를 들어서 휴머노이드가 문을 여는 Door 미션은 실험실에서는 항상 성공하였던 매우 쉬운 미션이었습니다. 하지만, 대회장에서는 바람이 불고, 문의 마찰력이 저희의 예상보다 컸기 때문에 해당 미션을 성공하기 위하여 많은 시간을 소모할 수 밖에 없었습니다.

이를 통해, 저는 본 대회에 참가한 이후로 로봇이 인간 환경에 동작할 수 있도록 환경에 강인한 (Robust) 제어기를 개발하는 것에 집중하였습니다.


3. HQP 컨트롤러를 기반으로 한 모바일 매니 플레이터를 개발중인 것으로 알고 있습니다. 두 로봇의 결합에 따른 활용의 장점과 해결해야 할 문제가 있다면?

- 단순한 로봇 메니퓰레이터와 다르게 모바일 베이스와 로봇 메니퓰레이터를 결합한 모바일 메니퓰레이터는 로봇 시스템에 이동성 (mobility)과 조작성 (Manipulability)를 동시에 제공할 수 있다는 점에서 각광을 받고 있습니다. 그러나, 이러한 모바일 메니퓰레이터를 최적으로 제어하는 것은 다음의 이유로 어렵습니다. 첫째, 모바일 베이스와 로봇 메니퓰레이터 사이의 동적 커플링을 고려하여야 합니다. 둘째, 앞서 언급해드린대로, 로봇이 수행하여야 할 작업의 우연한 우선순위화가 필수적입니다.

저는 Cybernetics 분야 권위 학회인 International Conference on Advanced Robotics and Mechatronics (ICARM) 2019에 ‘Whole-body Control of Non-holonomic Mobile Manipulator Based on Hierarchical Quadratic Programming and Continuous Task Transition’이라는 논문을 통해 이러한 점을 고려한 제어기를 제시하였습니다.

[동영상 3] 모바일 메니퓰레이터의 복잡한 작업 수행을 위한 HQP 기반 작업 전환 기법



해당 논문에서 저는 HQP 기반 제어기를 이용하여 모바일 메니퓰레이터의 전신 제어 (Whole-body Control)을 가능하게 하였으며, 연속 작업 전환 기법 (Continuous Task Transition)을 제안하여, 다양한 업무를 유연하게 처리할 수 있는 방법에 대해 고찰하였습니다. 이러한 기여를 인정받아, 학회 최우수상인 Best Conference Paper Award를 받을 수 있었답니다.



하지만, 제가 제안한 제어기는 다음의 단점을 가지고 있습니다. 먼저, 제어기의 연산량이 기존의 제어기보다 많습니다. 따라서, 만약 양팔 모바일 메니퓰레이터와 같이 보다 많은 관절을 가진 로봇에서 실시간 제어를 보장할 수 없습니다.

이를 극복하기 위하여, 최근 저와 저의 연구 동료들은 제어기의 연산 효율을 증가시키는 방법을 개발하여 저널에 투고하였고 결과를 기다리고 있답니다. 부디 좋은 결과가 있어, 여러분들께 빠른 시일내에 소개해드리고 싶습니다.


4. 2019년 연구에서 자동심폐소생술 장치를 연구하셨는데, 연구의 계기와 발전 가능성(상용화, 특허, 앞으로의 쓰임 등)에 대해서 이야기 해 주신다면?

- 혹시 심폐소생술 (CPR)을 직접 해보신 적이 있으신가요? 요새는 심폐소생술 교육이 군대나 학교에서 의무적으로 시행되고 있기 때문에 대부분 경험해 보셨을텐데요. 성인이 5분이상 심폐소생술을 하는 것이 무척 힘듭니다. 이러한 고충을 의사분들과 이야기를 나누다 2015년부터 2018년까지 삼성전자의 지원을 통하여, 서울대학교 응급의학과 연구진들과 로봇을 이용한 자동심폐소생술 장치에 대한 연구를 진행하였었습니다.

인공지능을 통하여, 체내 이산화탄소량과 혈류량을 측정, 최적의 흉부 압박 위치를 찾아 로봇 팔이 흉부를 압박하는 본 로봇 시스템은 [동영상 4]에서 보듯이 돼지 임상실험을 통하여 검증되었습니다. 돼지를 10분이상 뇌사시킨 뒤, 제안된 시스템을 통하여 심폐소생술을 해본 결과 응급구조사가 직접 심폐소생술을 결과와 기존의 심폐소생술 장치를 통한 결과보다 월등한 소생률을 보일 수 있었습니다.

[동영상 4] 로봇을 이용한 CPR 로봇의 실험 영상



이러한 연구를 통하여 국내 특허 및 미국, EU, 중국을 포함한 나라에 국제 특허를 등록할 수 있었습니다. 현재 이 시스템을 이용하여 제가 속했던 서울대학교 융합과학기술대학원 동적 로보틱 시스템 연구실 (교수 박재흥)과 서울대학교 응급의학과에서는 추가 연구를 진행하고 있고, 상용화를 준비하고 있습니다.


5. 여러 연구 중 개인적으로 꾸준하게 진행중인 연구나 앞으로 희망하는 연구가 있다면?

- 저는 올해 2월 서울대학교 융합과학기술대학원 동적 로보틱 시스템 연구실에서 박사학위를 수여받고, 3월부터 [그림 3]의 영국 에든버러 대학교의 SLMC 연구실 (Statistical Learning and Motor Control Group, Prof. Sethu Vijayakumar)에 Research Associate로 재직중에 있습니다.



휴머노이드나 모바일 로봇 메니퓰레이터가 일상생활에서 동작할 수 있도록 외부 환경에 강인한 제어기를 설계하기 위해, 해당 연구실에서는 저는 휴머노이드 하드웨어 안정성을 고려한 로봇 제어기의 설계를 국립 이탈리아 연구소 (IIT)와 공동연구 하고 있으며, 휴머노이드 로봇 Talos를 이용한 유연 제어기 설계에 매진하고 있습니다.

이를 바탕으로, 산업현장에서 혹은 재난지역에서 사람 대신 모바일 기반 로봇들이 안정적으로 동작할 수 있는 로봇 시스템을 제시하는 것이 저의 큰 꿈입니다.


6. 영향을 받은 연구자가 있다면? 또한 어떤 영향을 받으셨는지 궁금합니다.

- 훌륭한 로봇 공학자로서 성장하기 위해서 개인의 역량을 키우는 것도 중요하지만 학계에서 글로벌 네트워킹을 형성하는 것도 중요하다고 생각했습니다. 그리하여 박사학위 기간 중 1년동안 프랑스 국립과학연구소 (CNRS)의 Dr. Nicolas Mansard 산하 연구실에서 파견 연구를 수행할 수 있었던 기회가 있었습니다.



그는 휴머노이드 제어 분야에서 70편이 넘는 국제 저널 및 학술대회 논문을 저술하였을 뿐만이니라 모델 기반 제어기인 Differential Dynamic Programming를 휴머노이드에 적용할 수 있는 방법론을 수학적으로 제시하여, ‘CNRS Bronze Medal’(제어/로봇/신호처리 분야에서 뛰어난 성과를 이룬 연구자를 위한 메달)을 수여받았으며, 프랑스 정부로부터 ‘Grand Prix du Numerique de l'ANR’(프랑스 과학 과제를 하는 연구자 중 뛰어난 성과를 이룬 연구자를 위해 3년마다 수여되는 상)을 수여받을 정도로 세계적으로 유명한 연구자입니다.

저는 1년동안 그와 공동연구를 하면서, 그의 제어 방식에 많은 영향을 받았습니다. 특히, 머신 러닝과 제어기의 결합을 통하여 제어의 실시간성을 보장하는 연구에 참여하면서 수학적, 컴퓨터 공학적 지식을 쌓을 수 있었습니다.

다음은 제가 좋아하는 그의 최근 논문입니다.

Carlos Mastalli, Rohan Budhiraja, Wolfgang Merkt, Guilhem Saurel, Bilal Hammoud, Maximilien Naveau, Justin Carpentier, Sethu Vijayakumar, Nicolas Mansard, Crocoddyl: An efficient and versatile framework for multi-contact optimal control, International Conference on Autonomous Robots, 2020


7. 이 분야로 진학(사업) 하려는 후배들에게 조언을 해 주신다면?

- 로봇 공학은 로봇 하드웨어 설계에 필요한 기계 공학, 로봇 제어에 필요한 전기 공학과 컴퓨터 공학 등 기존 공학 분야들뿐만 아니라 로봇 윤리와 관련된 인문학, 인간의 행동을 이해하기 위한 의학 및 생명 공학 등 다양한 분야의 전문 지식이 융합된 다학제적 분야입니다. 이는, 로봇 공학을 기반으로 한 프로젝트들을 성공하기 위해서는 다양한 전문가와 함께 협업을 수행하여야 한다는 점을 의미합니다. 그러므로, 저는 로봇 공학 분야로 진학하고자 하는 후배들에게 다양한 전문 분야에 속한 사람들과 의견 개진을 할 수 있는 의사소통 능력을 기를 것을 조언해 드립니다. 다른 분야의 사람들에게 자신이 아는 바를 정확하게 말하고, 상대방의 의견을 정확하게 파악하여 수용하는 능력이 다른 공학 분야보다 더욱 필요하다고 생각합니다.

한편으로, 로봇 공학은 매우 실재적인 학문이라고 생각합니다. 그러므로, 이론 로보틱스와 실험 로보틱스 사이의 균형잡힌 연구를 수행하는 것이 중요하다고 생각합니다. 기본적인 수학적인 지식 뿐만 아니라 프로그래밍 지식 및 간단한 설계 지식을 갖추시는 것을 추천합니다.


8. 다른 하시고 싶은 이야기들.

- 먼저 저의 연구에 관심을 가져서 연락해주신 MERIC에게 감사드립니다. 한편, 최근 코로나 바이러스에 의해서 많은 연구자분들이 힘들어 하고 있을 것이라 생각합니다. 저 또한 올 3월달에 에딘버러에 도착하였지만, 락다운으로 인하여 아직까지도 지도교수님의 얼굴을 직접 뵙지 못하고 재택 근무를 수행하고 있답니다. 국내에 계신 연구자분들 뿐만 아니라 해외에 계신 연구자분들께서 힘든 시기를 잘 이겨내셔서 다들 좋은 연구 결과를 얻을 수 있으면 좋겠습니다.


* 김상현 박사의 최근(대표)논문

1. Sanghyun Kim, K. Jang, S. Park, Y. Lee, S. Lee, and J. Park, Continuous Task Transition Approach for Robot Controller based on Hierarchical Quadratic Programming, IEEE Robotics and Automation Letters, vol. 4, no. 2, pp. 1603-1610, 2019

2. Sanghyun Kim et al, Team SNU's Control Strategies to Enhancing Robot's Capability- Lessons from the 2015 DARPA Robotics Challenge Finals, Journal of Field Robotics, vol. 34, no. 2, pp. 359-380, 2017.

3. Sanghyun Kim, J. Kim, M. Kim, S. Kim, and J. Park, Grasping Force Estimation by sEMG Signals and Arm Posture- Tensor Decomposition Approach, Journal of Bionic Engineering, vol. 16, no. 3, pp. 455-467, 2019.

4. Sanghyun Kim, K. Jang, S. Park, Y. Lee, S. Lee, and J. Park, Whole-body control for nonholonomic mobile manipulator using Hierarchical Quadratic Programming and Continuous Task Transition, IEEE International Conference on Advanced Robotics & Mechatronics, 2019, Best Paper Award

5. J. Jung, J. Kim, Sanghyun Kim, W. Kwon, S. Na, K. Kim, G. Suh, B. Yoo, J. Choi, J. Lee, and J. Park, Application of Robot Manipulator for Cardiopulmonary Resuscitation, International Symposium on Experimental Robotics (ISER), pp. 266-274, 2017.