기계·로봇 연구정보센터

8750

멀티로봇 시스템의 게임이론기반 작업할당 및 가상현실을 활용한 원격관리

장인모(Inmo Jang)(The University of Manchester, UK) / inmo3592 at gmail.com 2020-06-08

1. 본인의 연구에 대해서 자세한 소개를 부탁 드립니다.

저의 주 연구 분야는 멀티로봇 시스템(Multi-Robot System) 혹은 스웜 로봇(Swarm Robotics)입니다. 멀티로봇 시스템이란, 말 그대로 여러 개의 로봇이 함께 협력하는 시스템입니다. 현재 다양한 형태의 로봇들이 연구개발 되고 있는데요, 누군가 그러한 로봇을 운영하고 있다고 상상해볼게요. 처음에는 한 개 로봇을 사용하다가, 시간이 지나면서 자연스럽게 여러 개에 로봇을 한꺼번에 사용해보면 어떨까 하는 생각이 들게 되겠죠? 아마도 여러 로봇을 사용할 때에 생각해볼 수 있는 여러 장점 중 하나는 전체적인 시스템의 Robustness가 될 것 같습니다. 임무 수행 중에 부분적으로 몇 대가 동작을 안 하더라도 나머지 로봇들이 보완을 해줄 수 있는 것이지요. 그리고 한 개 로봇이 마감 시간 내에 혹은 배터리 용량 내에 끝낼 수 없는 작업을 여러 로봇이 함께 협력함으로써 임무 수행 시간을 단축할 수도 있을 것입니다. 또한, 운영 중에 환경적/임무적 상황이 Dynamic 하게 변경이 되었을 때도 이러한 로봇들이 알아서 Adaptive 하게 상황에 적응하면서 임무를 수행하면 더욱더 좋을 것입니다. 이러한 장점이 분명하다면 이왕 로봇을 쓸 것 10개보다 100개, 혹은 그 이상을 사용할 수 있다면 (이러한 특성을 scalability라고 표현합니다) 더욱 다양한 분야로 활용할 수도 있겠죠? 그리고 이렇게 많은 로봇을 협력하게 할 수 있다면, 개별 로봇을 아주 단순하고 작게 설계/개발/대량생산을 함으로써 비용 절감도 가능하리라 생각됩니다. (예를 들어, 아래 그림처럼, 영국의 항공기 엔진회사인 롤스로이스사는 엔진 내부 검사를 위한 스웜 검사 로봇을 연구/개발하고 있습니다. 이러면, 엔진 검사 시 분해하지 않아도 되므로 비용 절감도 가능합니다) 이러한 멀티로봇/스웜 로봇 시스템의 구현 및 현실화를 하는 과정 중에 발생할 수 있는 기술적인 과제를 해결하는 것이 저의 주된 관심 연구 분야 입니다.

제가 이러한 연구분야에 관심을 갖게된 경위는 다음과 같습니다. 사실 저는 항공공학을 전공(학부 및 석사)하였으며, 2010년에 한국항공우주산업(KAI)에 근무를 하면서 한국형 전투기(KF-X) 개발에 참여하였었습니다. 프로젝트를 참여하면서 여러가지 자료들을 접할 수 있었는데, 그중에 접하게 된 “미국 국방부 무인항공시스템 로드맵(US DoD Unmanned Aerial Systems Roadmap)”에 따르면, 미국은 로드맵의 마지막 단계로 “Fully Autonomous Swarms”을 생각하고 있었습니다 (아래 그림 참조). 사실 방위산업분야 특성상 시스템 Redundancy가 아주 중요했고, 대내외적인 요소에 기인한 시스템 고장을 방지하기 위해 이중삼중 설계는 필수입니다. 이러한 맥락에서 미국이 Swarms을 마지막 단계로 생각한다는 것은 아주 당연하게 생각되었고, 마침 펜실베니아 대학의 Vijay Kumar 교수가 TED 강의를 선보였는데, 여러 대의 드론으로 007영화 사운드트랙을 연주하는 데모는 저를 아주 흥미롭게 하였습니다. 그래서 유학을 준비하였고, 기회가 맞아 영국의 항공전문대학인 크랜필드 대학(Cranfield University)에서 Swarm Robots분야로 박사과정을 시작할 수 있게 되었습니다.

멀티로봇 혹은 스웜 로봇 연구는 상대적으로 새로운 연구 분야로서, 다른 연구 분야와 달리 정해져 있는 교과서가 있지 않습니다. 하지만 기존의 여러 다양한 연구 분야들과 많이 연관되어있는데요, 예를 들면, Control theory, Optimization, Operations research, Game theory, Information theory, Communication network theory 및 Biology 등이 있을 것 같습니다. 이 분야가 아직 “새롭다”라고 말씀드릴 수 있는 예시 중 하나는 “멀티로봇” 및 “스웜 로봇” 두 용어에 대해서 아직 학계에서도 어떻게 정의를 구분 지어야 할지 확실하게 논의가 끝나지 않았다는 점에 있습니다. 단어의 본래 의미만으로 구분 짓자면, 멀티로봇이 좀 더 상위개념이고 (두 개 이상부터 무한개에 가까운 숫자까지 “멀티(Multi)”라고 볼 수 있으니까요), 스웜 로봇은 로봇 숫자가 정말 많은 경우를 주로 일컫는 개념이라고 볼 수 있습니다. 하지만, “어느 정도의 숫자부터 “스웜”이란 용어를 쓸 수 있는지”에 대해서는 아직도 학계에서 아직 정리되지 않은 상황이라, 실제로 지난 IROS 2019 내 워크샵 토론 주제 중 하나이기도 하였습니다. 제가 느끼기에는, 위 방법론 중에서 어떤 방식을 추구하느냐에 따라서 연구자들의 용어 사용 성향이 나뉘는 편인 것 같은데요. 기존의 한 개 로봇을 제어하는 연구자들이 두 개, 세 개 등 조금씩 여러 로봇을 제어하면서 연구를 해오던 사람들은 “멀티로봇 시스템”을 사용하는 성향이 있고요. 벌, 개미, 물고기 등의 생명체 떼들이 그룹 지어서 서로 시너지를 내면서 움직이는 모습(예를 들면 작은 물고기 떼가 한꺼번에 움직임으로써 상어를 방어하는 모습)을 분석하여 로봇에 적용해보는 방식의 Bio-inspired approach를 연구하는 사람들은 “스웜 로봇”이라는 표현을 더욱 많이 쓰는 것 같습니다. 하지만 스웜 로봇이라는 용어가 좀 더 팬시(Fancy)한 느낌을 주는 용어라 그런지, 최신 연구논문들을 보면 너무 남용해서 사용되는 경우가 많고, 그래서 용어의 헷갈림을 야기 시키는 것 같습니다. 저는 개인적으로 스웜 로봇은 로봇 숫자에 대한 Scalability가 중요하다고 생각하기 때문에, “Local information을 바탕으로 Local decision-making을 하는 Decentralized multi-robot systems”를 스웜 로봇이라고 생각하는 입장입니다. (사실 이러한 입장은 다른 연구자들과 토론하면서 시간이 지나 바뀔 수도 있습니다). 하지만 본 인터뷰에서는 모두 통칭해서 멀티로봇 시스템 이라고 하겠습니다.

멀티로봇 시스템을 현실화하기 위해서는 전체적인 시스템 구조를 어떻게 가져가야 할지에 대한 고민이 먼저 필요하다고 생각합니다. 크게 두 가지 방식이 있을 수 있는데요, 중앙 제어 컴퓨터가 모든 로봇을 관리하는 “중앙화 시스템(Centralized system)”과, 개별 로봇이 “지역정보(local information)”와 “주변 이웃 로봇과의 상호정보교환(local interaction)”만으로 스스로 제어를 하는 “분산화 시스템(Decentralized system)”이 있을 수 있습니다. 중앙화 시스템 방식은, 계산성능이 아주 좋은 슈퍼 중앙컴퓨터가 다른 모든 로봇과 한꺼번에 통신할 수 있는 성능 좋은 네트워크까지도 갖추고 있다는 것을 전제로 하는데요, 기존의 연구되어온 제어/최적화 방법론을 그대로 적용해서 사용할 수 있다는 장점이 있을 수 있습니다. 이런 경우 개별 로봇들은, 마치 공상과학영화의 드로이드 로봇이 중앙 명령을 따라서 움직이는 것처럼 동작하는 것으로 생각해도 될 것 같습니다. 실제로 평창올림픽에서 선보인 Intel 사의 드론 쇼나, Amazon 사의 물류창고에서 사용되는 Drive 로봇 (구 Kiva 로봇), 그리고 영국의 온라인 식료품 회사인 Ocado사의 물류창고에서 사용되는 방식이 이러한 중앙화 시스템 방식입니다.

저는 개인적으로 위와 같은 중앙화 시스템의 개발 및 구현에도 관심이 있지만, “연구 측면”에서는 분산화 방식에 더욱 관심이 많습니다. 분산화 방식의 경우에는 아직도 많은 연구 과제들이 남아있는데요, (1) (중앙 컨트롤 유닛 없이 시스템 레벨에서 사용자가 원하는 결과를 얻어내기 위해서) 개별 로봇들이 어떻게 분산화된 계산을 해야 할지, (2) 다른 주변 로봇들과 서로 어떤 정보를 주고 받아야 할지, (3) 지역 정보(local information)를 바탕으로 지역 의사결정(local decision-making)을 하더라도 어떻게 시스템 레벨의 원하는 결과(global desired behaviour)를 만들어 낼 수 있을지, (4) 이때 통신네트워크 연결구조(network topology)는 전체 시스템 성능에 어떤 영향을 미칠지 등 질문할 영역이 아주 많습니다. 활용도 측면에서는, (앞서 말씀드린 Amazon 및 Ocado사의 활용 예시처럼) 대부분의 비즈니스 모델의 경우에는 중앙화 멀티로봇 시스템이 많이 활용될 수 있으리라 생각합니다. 하지만 중앙컨트롤유닛을 확보할 수가 없거나 파괴될 위험이 있는 상황(예를 들어 extreme environments 등 로봇 간의 통신이 원활하지 않은 상황, 중앙유닛의 통신능력이 전체 로봇을 커버하기 어려운 상황, 또는 방사능 및 전쟁 때문에 중앙로봇도 쉽게 고장/파괴 될 수 있는 상황 등)에서는 분산화 멀티로봇 시스템이 더욱더 적합한 솔루션이 될 것이라 생각합니다. 또 다른 한편으로는, 자율주행이 자동차가 현실화가 된다면, 이것 역시도 분산화된 멀티로봇 시스템이라고 볼 수 있는데요 (만약 그렇지 않고 이것을 중앙화한다면 개인정보보호 등이 이슈가 될 것 같습니다), 이렇게 수많은 자율주행이 자동차의 “분산화된 조율/조정”에도 활용될 수 있는 가능성도 높다고 생각합니다.
제가 수행해온 자세한 연구내용은 아래의 질문들에서 말씀드리도록 하겠습니다.

2. 멀티 로봇에 관한 여러 연구를 진행하셨는데요. 가장 재미있거나 흥미를 가지고 있는 로봇 연구가 있었다면 어떤 것이 있을까요? 그리고 앞으로도 어떤 연구를 진행할 예정이신지 궁금합니다.

제가 가장 흥미롭게 그리고 박사과정 중에 가장 공들여서 연구를 해왔던 주제 중 하나는 분산화된 멀티로봇 시스템의 임무 할당(Task allocation)이었습니다. 임무 할당 문제란, 여러 개의 로봇과 여러 개의 작업(Task)이 있을 때, 어느 로봇이 어떤 작업을 하는 것이 전체 시스템 관점에서 가장 효율적인지 최적화를 하는 문제입니다. 임무 할당 문제는 세부적으로 크게 두 가지로 분류할 수 있는데, 첫 번째는 (아래 그림 첫 번째 경우 참조) 개별 로봇 성능이 충분해서 여러 작업을 순차적으로 할 수 있는 경우입니다. 예를 들어 로봇이 10개가 있고 작업량이 100개가 있을 때, 각 로봇이 작업 간의 이동 거리를 생각해서 어떤 작업을 어떤 순서로 돌아다니면서 작업을 하는 게 효율적인지 답을 내야 하는 상황이라고 볼 수 있습니다. 이와 반대의 경우는 (아래 그림 두 번째 경우 참조), 개별 로봇의 성능이 제한적이어서 여러 로봇이 함께 협력해야지만 한 개의 작업을 완료할 수 있는 경우입니다. 이때 임무 할당 문제는 어떤 로봇들이 어떻게 팀을 이루고, 어느 팀이 어떤 작업을 담당하는지 답을 내야 하는 상황으로 귀결됩니다. 사실 첫 번째 연구 주제는 KAIST 최한림 교수님 연구실팀을 비롯한 여러 곳에서 많은 연구가 되어있는 상황이었지만, 두 번째 임무 할당 문제의 경우는 당시에 아직 많은 연구가 되어있지 않았습니다. 그리고 미래에는 기술이 발전하면서 점점 크기가 작은 로봇들이 많아질 것이라고 예상을 하고 있었고, 소형로봇들은 크기 때문에 물리적으로 큰 힘을 발휘를 할 수 없으니 이러한 로봇들의 협력을 가능케 하기 위한 연구가 필요하다고 생각했었습니다. 그래서 저는 자연스럽게 두 번째 형태의 임무 할당 문제를 저의 박사과정 메인 토픽으로 선택하여 연구를 시작하게 되었죠.

당시 지도교수님이신 영국 크랜필드 대학의 신효상(Hyo-Sang Shin) 교수님께서는 Game Theory와 Bio-inspired approach를 제안하셨습니다. 두 방법론 모두 개별 로봇을 Decentralized agents로 모델링을 하고 접근을 하는 방법으로서, 전체적인 시스템의 scalability나 robustness 그리고 adaptability 등을 확보할 수 있을 잠재성이 엿보였습니다. 영국 박사과정의 특징중 하나는 박사과정 초반 6개월 동안은 Literature survey에 집중할 수 있게 시간을 준다는 것인데요, 저는 이 시간을 활용하여 Game theory 및 Bio-inspired approach가 적용된 (굳이 로봇 분야가 아니더라도) 다양한 많은 기존 연구를 살펴볼 수 있었습니다. 특히 Hedonic game이라는 새로운 이론을 발견했는데 이것은 agent가 team을 선택하는 데에 있어서 다른 agent의 identity를 보고 결정하는 상황, 좀 더 reduced 된 형태로는 Anonymous hedonic game이 있는데, 이것은 다른 agents의 cardinality(모임 크기)만 보고 결정하는 상황에 적용되는 이론이었습니다. 하지만 이런 간단한 모델 조건에도 불구하고, Nash stable partition (이것은 Nash equilibrium과 동일한 개념인데요, 모든 agents가 현재의 팀구성(partition)에 만족을 하는 상황입니다)을 찾는 것이 제한적으로만 증명이 되어있었습니다. 저는 “숫자가 정말 많은 멀티로봇 시스템”의 경우 개별 로봇은 homogeneous 할 것이라는 가정(실제로 대량생산될 가능성이 높을 것일 테니까요)을 해도 괜찮으리라 생각을 했으며, 이러한 상황에서 Nash stable partition을 Polynomial time 안에 항상 만들어 낼 수 있는 Condition 및 Decentralized algorithm을 발견 및 개발 할 수 있게 되었습니다. 간단히 결과를 보여드리자면 (아래 그림 참조), 임의로 배치된 320개의 로봇이 제한된 통신반경으로 이웃 로봇들과 연결되어있는 상황(동그라미 간의 실선은 로봇간에 통신이 연결됨 표시)속에서, 요구작업량이 서로 다른 작업 5개(각 네모는 작업을, 그리고 그 크기는 작업량을 표시)를 발견했을 때, 로봇들은 개별 위치 및 요구작업량의 크기를 고려해서 Decentralized algorithm을 통해 아래와 같은 결과를 얻을 수 있었습니다. 본 알고리듬은 계산도 아주 간단하고, 필요한 iteration 수 (이론적으로는 로봇 개수의 제곱에 비례, 실험적으로는 로봇 개수에 정비례)도 크게 많지 않은 장점이 있음을 발견하기도 했지요.

이것은 박사과정 첫 연구결과였고, 당시기준으로 졸업시기까지는 아직 1년반 이상 여유가 있었으므로, 일종의 “상향지원”으로서 제가 제일 좋아하는 저널중 하나인 IEEE Transactions on Robotics에 제출을 했었습니다. 요즘 로봇 분야는 실험이 없으면 좋은 publication을 내기 어려운 분위기가 없지 않은것 같은데, 비록 제 연구결과는 실제 로봇실험이 하나도 없음에도 불구하고, 새로운 게임이론을 멀티로봇분야에 적용했다는 점 그리고 그에 대한 이론적인 contribution 등이 인정이 되어, 첫 제출후 2년뒤에 최종적으로 출판이 되었습니다. 그리고 본 연구결과는 컨퍼런스 연구결과를 바탕으로 저널로 확장연구를 한 형태가 아니었기 때문에, 논문 출판이후 ICRA나 IROS에 참여해서 발표를 할수 있는 기회를 제안받았고, 작년에 IROS에 참여하여 결과를 발표할 수 있기도 하였습니다 (아래 사진 참조).

현재는 본 연구에 대한 확장 연구를 여러 연구자들과 함께 점진적으로 진행중에 있습니다. 실제 로봇을 통한 실험도 하고 싶어서, 1000개의 Kilobots을 보유하고 있는 영국의 브리스톨 대학(University of Bristol)과도 협력을 진행중에 있으며 (아래 그림 참조), Homogeneous robots이 아닌 Heterogeneous robots 상황에 대한 고려도 하고 있습니다. 또한 임무할당(Task allocation) 뿐만 아니라 경로계획(path planning), 충돌회피(Collision avoidance)도 함께 고려한 통합된 프레임워크(unified framework)로의 확장도 진행중입니다. 그리고 MARL(Multi-Agent Reinforcement Learning)을 활용한 연구도 관심이 있어서, 여러 다른 연구자들로 부터 많이 배우고 있는 중이기도 합니다. 마지막으로, 멀티로봇시스템이 실제로 현장에 활용될 때 어쨌든 최소한 한두명의 Human operator supervisor가 있어야 한다고 생각합니다. 따라서 Human-Swarm Interaction에 대한 연구도 필요하다고 생각하며 조금씩 준비하고 있는 것이 있는데요, 이 부분에 대해서는 아래 다른 질문에 대한 답변으로 자세히 말씀드리도록 하겠습니다.

3. 사람이 직접 활동하기 어려운 곳에서의 로봇 적용을 위한 영국 정부 프로젝트 (RAIN Hub - https://rainhub.org.uk)에 참여하고 있다고 하셨는데 어떤 연구인지 소개를 부탁드립니다.

현재 저는 영국 맨체스터 대학(University of Manchester)에서 Research Associate로 일하고 있으며, RAIN (Robot and AI for Nuclear) Hub 프로젝트에 2018년 4월부터 참여하고 있었습니다. 이 프로젝트는 UKRI(UK Research and Innovation)하의 ISCF(Industrial Strategy Challenge Fund)에서 3년간 약 200억원 규모 지원하는 프로젝트로서, 로봇 및 AI 기술을 이용하여 방사능 환경에서 일하는 작업자의 안전성을 향상시키는 것을 목적으로 하고 있습니다. 보통 이공계 프로젝트는 EPSRC(Engineering and Physical Sciences Research Council)에서 (참고로, EPSRC도 UKRI 산하에 있음) 지원을 받고 아카데믹한 연구를 하게 되는 데에 반해, RAIN Hub 프로젝트는 영국의 중장기적 비즈니스 성장을 고려한 산업적/사회적인 과제들을 해결하는 데에 보다 주안점을 두고 있습니다. 맨체스터 대학의 Robotics for Extreme Environments Group이 주관하고, 옥스퍼드(Oxford) 대학, 리버풀(Liverpool) 대학, 셰필드(Sheffield) 대학, 랭커스터(Lancaster) 대학, 브리스톨(Bristol) 대학, 그리고 영국의 원자력연구원격인 UKAEA(UK Atomic Energy Authority) 하부조직인 RACE 등에 소속된 전담 박사후 연구원만 (Faculty를 제외하고) 약 30명이 참여를 하고 있으며, robot manipulators, mobile robots, aerial robots, underwater robots 등을 연구하는 로봇공학자, 인공지능 및 컴퓨터 비전을 다루는 컴퓨터 공학자, 방사능의 로봇 영향성을 연구하는 화학/물리학자, 그리고 로봇/사람과의 협업(Human-Robot Interaction/Collaboration)을 심리학적으로 접근하는 심리학자 등 다양한 분야의 연구자들이 함께 참여하고 있습니다. 연구 분야가 너무 다양해서 일일히 열거가 어려우니, 자세하게 알고 싶으신 분들은 rainhub.org.uk 참조를 부탁드립니다.

저는 그중에서 Human-Robot Interaction 팀에 속해서 함께 일하고 있습니다. 로봇을 실제 현장에 적용해서 사용하면서, AI의 개입 정도에 따라 시스템을 Teleoperation, Semi-Autonomy, Fully-autonomy로 구분할 수 있는데요. 특히 저는 Teleoperation과 Semi-autonomy가 적용된 로봇 시스템을 연구하고 있습니다. Teleoperation은 이미 아주 예전부터 있었던 연구 분야이지만, 몇 년 전부터는 Virtual reality를 이용한 직관적이고 몰입감(immersive) 있는 유저 인터페이스(user interface)에 대한 연구가 새롭게 나오고 있었습니다. 사실 저는 맨체스터 대학에서 연구를 시작하면서 처음으로 Virtual reality를 다뤄봤었는데요. 새로운 시스템/개발환경 등을 배우고 Semi-autonomy 연구를 위한 디딤돌 성격의 연구를 위한 목적으로, “맨손으로 로봇을 원격조종해 보면 어떨까?”라는 생각으로 Leap Motion(손동작을 적외선으로 감지하는 상용 센서)을 활용한 시스템을 개발해보게 되었습니다 (아래 사진 참조; 영상데모는 다음에서 확인 가능합니다: https://youtu.be/UY77MVYvSPc).

사실 본 시스템을 실제로 활용하기에는 많은 후속 연구들이 필요하지만, 나름 아이디어가 괜찮았는지 영국 내 장수 로봇학회인 TAROS 2019에서 Finalist로 선정되기도 하였습니다.

특히 저희 RAIN Hub 내 HRI 팀은 애플리케이션으로서 “글로브박스(Glove box) 작업”을 하기 위한 Teleoperation robot을 연구개발 중에 있습니다. 글로브 박스란 (아래 왼쪽 그림 참조), 방사성물질 취급을 위한 시설 중 하나로서, 커다란 박스의 구멍에 장갑이 붙어있는 형태입니다. 작업자는 보호복을 입고 구멍을 통해 손을 집어 넣고 작업을 수행하게 되는데, 장갑이 찢어지는 문제 등으로 인한 방사능 노출 위험 가능성이 있기도 하고, 장갑을 두껍게 만들면 작업자가 둔감해지게되서 작업 효율이 떨어지는 단점이 생기기도 합니다. 그리고 대부분의 글로브박스는 외부에서 내부를 들여다볼 수 있게 창(Window)이 있는데, 오래된 글로브박스의 경우에는 내부 쪽에서 창이 더럽게 되어 작업 시야 확보에도 어려움이 있는 것들도 많다고 합니다. 무엇보다도, 아무리 작업자가 보호복을 입고 글로브박스 외부에서 작업한다고 하더라도, 방사능 노출의 위험은 계속 도사리고 있습니다. 그래서 저희는 이러한 글로브박스 작업을 로봇이 수행할 수 있게 하기 위한 연구를 수행 중에 있습니다.

<

이러한 큰 목표하에서, 저는 앞서 보여드렸던 가상현실을 활용한 User Interface 연구와 더불어, Semi-autonomy를 위한 연구도 진행하고 있는데요. 원격조종자가 High level에서 명령을 주거나 Robot End Effector에 대한 원격조종을 대략적으로만 하더라도, 로봇 레벨에서는 세부적인 컨트롤을 알아서 수행하게 하기 위한 방법을 연구 중입니다. 이러한 컨셉을 Control Society에서는 Shared control이라고도 부르는데요, 마치 크루즈 모드로 운전할 때 사람이 Steering만 하고 자동차가 알아서 속도를 조절하는 것과 유사한 컨셉이라고 보면 될 것 같습니다. 좀 더 방법론에 대한 자세한 설명을 드리자면, 일반적으로 Inverse Jacobian matrix의 연산을 통해서 해결하는 Inverse kinematics 문제를 최적화 문제로 접근하였고, 본연의 Inverse kinematics를 위한 objective function terms 외에도 Teleoperation 작업 효율을 높일 수 있는 추가적인 terms를 더함으로써, 전체적인 사람-로봇 시스템의 효율성 및 안전성을 높이는 것입니다. 이것은 아직 진행 중인 연구이며, 조만간 재미있는 동영상을 보여드릴 수도 있을 것 같네요.

이 외에도 RAIN Hub에 참여함으로써 여러 다른 기회들도 있었는데요. 특히 최근에는 일본 정부 지원으로 동경대학교(University of Tokyo)에도 단기 방문연구원으로 다녀올 수 있게 되었고, 2011년 후쿠시마 쓰나미로 피해를 입은 원전을 처리하기 위한 일본의 로봇공학 연구자들과 함께 공동연구를 수행할 수 있었습니다.

4. VR로 로봇을 통제하는 영상을 봤습니다. 아주 독창적이고 흥미로운 연구인 거 같습니다. 어떻게 이런 생각을 하신 건지 궁금하고 앞으로 어떻게 발전할지 기대가 됩니다. 이 기술의 최종적인 결과는 무엇이며, 해결되어야 할 과제는 무엇일까요?

아마 누군가는 저에게 “왜 박사과정때 연구하던 멀티로봇쪽으로 연구를 계속하지 않고 갑자기 로봇팔을 활용한 연구를 하게 되었는지” 물어보실수도 있겠는데요. 제가 박사과정중에 멀티로봇시스템을 연구할때는 큰 맥락에서는 “제어” 관점에서 연구를 주로 해왔었는데, 이쪽에서 바라보는 주된 연구목표는 “주어진 레퍼런스 입력이 있을때 어떻게 시스템이 그것을 따라가게 할것인가?” 입니다. 즉, 시스템에 “레퍼런스”가 주어져야 하는데, 이 부분은 사실 Human operator가 주는 경우가 많죠. 즉 Human-Robot Interaction에 대한 연구 확장이 필요하겠다는 생각을 하게 되었던 것이고요. 이러한 측면에서 RAIN Hub 프로젝트는 저에게 중요한 기회가 될수 있을거라 생각했으며, 궁극적으로는 Human-Swarm Interaction으로 확장하고 싶었습니다. 저는 RAIN Hub내 가상현실/Teleoperation 연구를 통해 배운 지식/경험을 멀티로봇과 연결시켜보고 싶었고, 그렇게 해서 VR로 멀티로봇을 통제하는 연구를 시작하게 되었습니다.

근미래에 멀티로봇시스템이 활용될 수 있는 적용분야 중에 하나는 시설/설비 등 특정 공간에 대한 monitoring/inspection 등이 있을 수 있습니다. Fully autonomy를 구현하기 전에 현실적으로 활용가능한 형태는 아마도 Semi-autonomy라고 생각되며, 이러한 경우 분명 몇몇 로봇은 원치않은 방향대로 동작하는 개체가 있을 것이고, 이때는 시스템의 안전성/성능을 위해서 Human operator의 개입이 반드시 필요하다고 생각합니다. 즉, 소수의 Human operator가 전체적인 멀티로봇 시스템을 관리/감독/통제를 해야하는데, 이와 관련하여 많은 연구질문을 생각해볼수 있을 것 같습니다. 특히 저는 “멀티로봇시스템의 상태정보를 어떻게 사람에게 전달하고, 사람의 User Command는 어떻게 로봇시스템에 전달할지” 그리고 이러기 위해서는 “새로운 종류의 User Interface가 필요하지 않을까”하는 연구질문에 관심을 갖고 있었는데요. 초등학교 저학년 시절에 개미를 가지고 위치를 바꾸며 놀던 기억이 문득 떠올랐고, 이것을 VR로 구현해보자는 생각을 하게 되었습니다. VR공간에서 Human operator는 물리법칙을 지배받지 않는 super-natural이 되니까, 마치 우리가 개미를 집어서 다른데로 옮기는 것처럼, 멀티로봇을 컨트롤해볼수 있지 않을까 하는 아이디어를 구현해보게 되었습니다. 이것을 저는 Robot-level interaction이라고 명명했는데요, 이 외에도 Semi-autonomy성격의 Swarm-level interaction, 그리고 가상의 환경정보를 수정하여 간접적으로 멀티로봇을 통제하는 Environment-level interaction을 구현해보았습니다 (영상 데모는 다음 참조: https://youtu.be/LOIJPFM8YRA).

이것은 운이 좋게도 Science의 온라인뉴스로도 기사화되기도 하였네요.

이러한 방식이 최종적으로 현장에 적용되기 위해서는 아직도 많은 과제가 있는데요. 특히 멀티로봇 시스템과 사람 간의 통신이 큰 걸림돌 중 하나라고 생각합니다. 일반적인 Teleoperation 에서도 사람-로봇 간의 시간 지연(Time delay)이 전체 시스템에 미치는 영향이 엄청 많게 되는데요. 이것은 멀티로봇-사람 간의 Human-Swarm Interaction에서도 마찬가지라고 생각합니다. 특히 RAIN Hub에서 중점을 두고 있는 Nuclear application을 생각해보면, 멀티로봇을 unknown environment에 임무를 보낸 후에 로봇으로부터 각종 sensory data를 받아와야 하는데, 이러한 경우는 multi-hop information transmission을 가정하게 되기 때문에, 더더욱 그 영향성은 커질 것이라고 보입니다. 5G 등의 기술 도입을 기대하고 있는 부분이기도 합니다.

5. 본인이 영향을 받은 다른 연구자나 논문이 있다면?

그동안 많은 선후배 연구자분들께서 저에게 연구 및 진로 측면에서 많은 영향을 주셨습니다. 그중에 특히 제가 박사과정을 하면서 몇 번씩 곱씹으면서 본 논문이 있다면, 첫 번째로는 KAIST 항공공학과 최한림 교수님의 “Consensus-based decentralized auctions for robust task allocation”, IEEE Transactions on Robotics, 24(4), 2009가 있습니다. 이 논문은 앞서 설명해 드린 임무 할당 문제의 첫 번째 분류에 해당하는 논문 중에서 가장 유명한 논문 중 하나라고 생각합니다. 사실 제가 영국으로 유학을 하러 가기 전부터 멀티로봇에 관심이 있었기 때문에 그때부터 이 논문을 알고 있었고, 박사과정 중에는 저도 해당 저널에 연구 결과를 내보고 싶었기에 이 페이퍼를 롤모델 삼아 연구를 수행했었습니다.

두 번째로는 현재 NASA JPL에 있는 Saptarshi Bandyopadhyay 박사입니다. 제가 제출한 논문의 Review를 받으면서 이 사람의 논문을 보라는 Reviewer의 추천으로 이분의 존재를 우연히 알게 되었고, 해당 논문 중 arXiv에 Preprint로 올라와 있는 것이 있었는데 일부 Theorem 증명에 제가 Feedback을 제공한 것을 계기로, 그 이후로도 서로 온라인으로 연락을 하고 지내고 있습니다. 사실 그 논문은 “Probabilistic and distributed control of a large-scale swarm of autonomous agents”, IEEE Transactions on Robotics, 33(5), 2017이었는데요, 이것 말고도 이분의 논문은 전반적으로 구성이 아주 깔끔하게 잘 정리가 되어있어서 저의 논문 작성에 많은 귀감이 되었습니다.

6. 연구활동 하시면서 평소 느끼신 점 또는 자부심, 보람

로봇 연구 분야는 Society 자체가 Fun한 느낌이 있어서 재밌는 것 같습니다. 예를 들면, 데니스 홍 교수님의 발표처럼 발표를 되게 재밌게 하는 분들도 많으시고, 국제학회의 분위기도 아주 자유롭게 반바지에 반소매 티셔츠를 입고 와서 발표하기도 합니다. 그리고 세계적인 연구그룹에서 진행하는 연구를 보면 아주 재미있는 주제로 연구를 하는 경우도 많은데요, 예를 들면 이탈리아 로봇공학의 대가이신 Bruno Siciliano 교수팀은 피자를 만드는 로봇을 연구 중에 있습니다. 본 연구는 당장의 Demonstration이 재밌어 보일 뿐만 아니라, 실제 필요한 요소기술도 Spin off 되어 충분히 다른 분야에도 많이 쓰일 수 있는 기술에 관한 연구입니다. 그리고 로봇 분야는 종합학문이기에 다양한 분야의 사람을 만날 수 있고, 만나면서 새로운 아이디어와 시너지가 나올 수 있는 분야라는 점, 그리고 Open source가 발달한 문화가 있다는 점이 로봇분야에 대한 매력이라고 생각합니다. 저도 Github나 Youtube 등을 통해 무언가를 만들어서 지식공유를 하고 있는데요, 아직 숫자는 적지만 누군가가 저의 결과에 관심 가져주고 활용하여줄 때 보람을 느끼고 있습니다.

7. 이 분야로 진학(사업) 하려는 후배들에게 조언을 주신다면?

로봇 분야는 종합학문이기에 한 분야만 좁고 깊게 공부/연구하는 것보다 다양한 분야에 대한 직간접적인 경험도 해보는 것을 권장해 드립니다. 이러면 여러 장점 중 하나는 새로운 연구 아이디어가 잘 떠오르게 됩니다. 그리고 궁극적으로 로봇 시스템 구축을 위해서는 다양한 분야의 전문가가 서로 협력을 해야 하는데, 이때에도 폭넓은 지식은 서로를 이해하는 데에 많은 도움이 될 것이라고 생각합니다. 그리고, 현재 기술의 발전속도를 봤을 때 어떠한 한 분야만 고집하는 것은 향후 진로에도 Risk가 있을 수 있다고도 생각합니다. 요즘 다양한 플랫폼을 통해 많은 무료 강의, Tutorial, Source code 등이 있으니, 이러한 것을 잘 활용하시라고 말씀드리고 싶고요. 능동적으로 사람들도 (직접 또는 온라인상으로도) 많이 만나보시고, 다른 분들과 서로 토론하고 배우면서 생각이 정리되거나 배우실수 있는 것이 많으리라 생각합니다.

두 번째로는, 이론과 실전의 균형을 갖추시라고 말씀드리고 싶네요. 이 부분은 저도 체감했던 부분인데요. 박사과정 때는 이론 중심으로 연구를 했었고, 박사후연구원에 와서는 실제 로봇을 이용한 Demonstration에 주안점을 두고 연구를 했더니, 확실히 그다음 진로 결정에 많은 옵션이 나타남을 경험하게 되었습니다. 연구 분야 중에서 로봇분야 만큼 일반인들에게도 설명이 쉬운 분야가 없는 것 같습니다. 그리고 요즘 분위기는 Demonstration을 중요하게 생각하는 것 같습니다. 따라서 연구를 하시면서 실험을 많이 수행하시고 그 중간중간 결과들을 동영상으로 많이 남겨두시고 개인 Youtube를 통해 공유를 많이 하시는 것을 추천해 드립니다.

세 번째로는, (여건이 되신다면) 연구주제 선정 시 기존 연구의 follower가 되기보다는 새로운 것을 제안하는 연구에 도전해보시라고 말씀드리고 싶네요. 기존 연구를 수정하고 업그레이드를 하는 방식의 연구 결과는 novelty를 인정받기가 쉽지 않고 좋은 publication으로 나오기가 어려웠지만, 남들이 아직 많이 하지 않은 분야에 대한 연구 결과를 새롭게 제안한 경우는 좋은 결과로 인정을 받게 되는 경험을 개인적으로 하였습니다. 이러한 성취의 부수적인 효과로는, 새로운 연구자들과 온라인으로 만나거나 메일을 주고받을 때 좀 더 회신율이 높아진다는 점도 있네요. 마지막으로는 많은 Literature survey를 하시라고 말씀드리고 싶습니다. 전 세계적으로 정말 많은 연구가 동시에 벌어지고 있는데요. 논문 검색뿐만 아니라 Youtube나 기사 등을 통한 Industrial progress에 대한 확인도 필요한 것 같습니다.

8. 앞으로 진행할 연구 방향이나 목표가 있으시다면?

제가 장기적으로 추구하고 있는 연구 방향은 “로봇을 이용한 시설 검사/유지/보수 자동화”입니다. 현대의 공장에서는 생산 부분은 많이 자동화가 되어있는 데에 반해, 검사 및 유지보수는 아직 자동화가 되어 있지 않습니다. 인체에 유해한 환경 혹은 사고확률이 높은 환경에서 사람이 직접 작업을 하는 경우가 있는 등 작업자 안전성 개선에 여지가 많다고 생각합니다. 특히 1차산업혁명의 중심지였던 영국에는 오래된 시설이 많아서, 비용 절감 측면에서도 유지보수 자동화를 위해 정부 차원에서 많은 투자를 하고 있습니다. 앞서 소개해드린 RAIN Hub 프로젝트도 이러한 맥락에서 수행되는 것 중 하나이고, 산업계에서도 이 부분에 대한 비전을 가지고 많은 스타트업/중소기업들이 영국을 비롯한 전 세계적인 시장성을 보고 참여하고 있습니다. 제 개인적으로도, 그동안 관심 있게 연구해온 “분산화된 멀티로봇 시스템(Decentralized Multi-robot systems)”이 이러한 분야로의 적용이 적합하다고 판단하고 있어서, 앞으로도 이러한 방향으로 계속 연구를 진행하고자 합니다.

* 장인모 박사의 최근(대표)논문

- I. Jang, H. Shin, and A. Tsourdos, “Anonymous Hedonic Game for Task Allocation in a Large-scale Multiple Agent System”, IEEE Transactions on Robotics, vol.34, no.6, pp.1534-1548, 2018
- I. Jang, H. Shin, and A. Tsourdos, “Local Information-based Control for Probabilistic Swarm Distribution Guidance”, Swarm Intelligence, vol.12, no.4, pp.327-359, 2018
- I. Jang, H. Shin, A. Tsourdos, J. Jeong, S. Kim, and J. Suk, “An Integrated Decision-making Framework of a Heterogeneous Aerial Robotic Swarm for Cooperative Tasks with Minimum Requirements”, Proceedings of the Institution of Mechanical Engineers, Part G: Journal of Aerospace Engineering, vol.233, no.6, pp.2101-2118, 2019
- I. Jang, J. Carrasco, A. Weightman, and B. Lennox, “Intuitive Bare-Hand Teleoperation of a Robotic Manipulator Using Virtual Reality and Leap Motion”, Towards Autonomous Robotic System (TAROS 2019), pp.283-294, 2019
- I. Jang, J. Hu, F. Arvin, J. Carrasco, and B. Lennox, “Omnipotent Virtual Giant for Remote Human-Swarm Interaction”, arXiv:1903.10064, 2019

multi-robot systems
autonomous decision-making
human-swarm interaction
robotics for maintenance

전체댓글 0

[로그인]

댓글 입력란

0/500자