1. 본인의 연구에 대해서 대략적인 소개를 부탁드립니다.

- 저는 스마트 제조 기술을 테마로, 보다 유연하고 자율적인 제조 시스템을 연구하고 있습니다. 스마트 제조는 인공지능, 빅데이터, 컴퓨터 그래픽스 등 정보화기술의 발달을 기반으로 하는 제조 혁명, Industry 4.0 등의 용어와 함께 주목받고 있습니다. 스마트 생산의 목표는 복잡하고 변동이 심한 환경에 유연하게 대응하고, 사람의 개입을 최소화하여 스스로 판단하고 제어하는 자율적인 시스템입니다. 제 연구는 사람-인공지능-시스템이 협업하면서 서로 발전하는 사이버물리 제조 시스템 (Cyber-Physical Production System, CPPS) 을 구축하는 기술에 대한 것입니다. 특히 작업자-로봇 협업시 작업자 데모를 통해 산업용 로봇의 인공지능을 학습하거나, 숙련된 작업자의 인지 및 판단력을 센서-인공지능 기술을 통해 디지털화 하는 등의 기술을 연구하고 있습니다.


2. “인간 참여 로봇 제조를 위한 몰입형 및 대화형 사이버 물리 시스템(I2CPS) 및 가상 현실 인터페이스” 연구를 진행하신걸로 압니다. I2CPS (Immersive and Interactive Cyber-Physical System)에 대한 자세한 소개를 부탁드립니다.

- 산업용 로봇이나 공작기계는 복잡한 인터페이스 때문에 바로 운용하기 어렵고, 별도의 교육과 오랜 기간 경험을 통해 익숙해지게 됩니다. 최근 숙련자의 은퇴와 인구 감소 등으로 인해 제조업의 인력 공급이 문제가 되고 있으며, 이를 극복할 수 있는 방법의 하나로 가상현실 (Virtual Reality, VR) 을 통해 보다 직관적인 인터페이스를 생각해 보았습니다. 또한 스마트 제조에서 빅데이터와 인공지능 등의 사이버 시스템과 협업할 수 있는 방법으로, 가상 공간에서 사람이 가상의 물리 시스템과 사이버 시스템 안에서 일하는 아이디어를 생각했습니다. 이러한 개념을 가진 인터페이스를 게임엔진, 가상현실, ROS, MTConnect 와 같은 미들웨어로 구현했고, 산업용 로봇으로 물체를 잡아 이송하는 공정을 데모로 시연했습니다.






3. 사람과 인공지능이 함께 협업할 수 있는 유연하고 자율적인 제조 공장을 목표로 연구하고 계신다고 하셨는데 이에 대해서 자세한 설명을 부탁드립니다.

- 사람은 작업물의 형상이 변하거나 돌발 상황이 발생했을 때 빨리 대응할 수 있는 유연성과 민첩성을 지니고 있습니다. 반면 제조 로봇은 반복 정밀도가 높고, 다룰 수 있는 하중이 사람보다 높습니다. 이에 서로의 장점을 취해 생산성을 혁신하기 위한 사람-로봇 협업 (Human-Robot Collaboration) 에 대한 연구가 계속 진행되어 왔습니다. 이제 인공지능과 센서 기술의 발달로 로봇이 자율성을 갖게 되면서, 제조 현장에서 작업자와 로봇이 함께 일하기 위해서는 숙련된 작업자가 어떻게 제조 로봇의 자율성을 학습시키고, 반대로 제조 로봇이 어떻게 사람을 도울 수 있는지에 대한 연구가 추가로 필요하다고 생각합니다. 저는 이러한 작업자-인공지능간 상호작용을 위한 공간을 구현하는 방법과 사람의 기술 또는 노하우를 디지털화 하여 어떻게 인공지능을 학습시키고 피드백을 받아 강화시킬 수 있는지에 대한 연구를 진행하고 있습니다.

연관된 주제로 Bin Picking 에 대한 연구를 수행했습니다. 보통 자동화 라인에 공작물을 올려놓기 위해 로봇이 사용되는데, 파트피더 등으로 공작물을 정해진 위치에 정렬한 후에 로봇이 이동하여 공작물을 잡아 이동하게 됩니다. 보다 유연하고 자율적으로 발전시키기 위해, 비전을 사용하여 로봇이 잡을 수 있는 공작물을 찾은 후, 로봇의 위치와 각도를 계산해서 자동화를 하는 방법이 있습니다. 하지만 공장에서는 팔레트나 컨테이너 등으로 공작물들을 사전 정렬해서 로봇을 사용하고 있습니다. 최근에는 인공지능을 활용하여 공작물들이 정렬되지 않은 컨테이너만 공급하면 로봇이 알아서 잡아내는 솔루션에 대한 연구가 Amazon 등 물류업체를 중심으로 수행되고 있습니다. 저는 먼저 사람이 최소한의 시연으로 잡아야 할 공작물을 찾는 초기 CNN (Convolutional Neural Network)을 학습한 후, 로봇이 스스로 잡기 시도를 해서 CNN 모델의 성공률을 높이는 방법을 제시했습니다. 100번의 사람의 시연으로 75% 였던 잡기 성공률을, 로봇이 스스로 2000회 학습 후 87% 까지 자동으로 높였으며, 모델 훈련에 필요한 데이터 수도 줄일 수 있었습니다.








이어 사람이 협업 로봇으로 잡기를 시도하고, 그 사이에 캡쳐한 3D 이미지로부터 로봇이 잡아야할 공작물을 찾는 YoloV5 모델학습에 필요한 합성 데이터를 발생시켰습니다. 블록 모델당 1번의 시연으로 필요한 데이터를 합성했으며, 그 결과 YoloV5 모델은 98%의 찾기 성공률을 달성했습니다. 이러한 방식으로 사람의 기술과 판단력을 디지털화 하여 인공지능과 협업할 수 있는 로봇 기반 생산 공정과 시스템을 연구하고 있습니다.







이러한 방식으로 사람의 기술과 판단력을 디지털화 하여 인공지능과 협업할 수 있는 로봇 기반 생산 공정과 시스템을 연구하고 있습니다.


4. 스마트 팩토리와 인간-기계 협업이 제조 산업에 미치는 잠재적인 경제적 이점은 무엇인가요?

앞서 대답했듯, 스마트 팩토리의 효과는 유연화와 자율화 입니다. 최근 제조업은 매우 변동성이 심화되고 있습니다. 현재 소비자의 다양한 수요에 빠르게 대응하기 위해서 복잡한 제조와 물류 시스템이 필요합니다. 또한 코로나 바이러스로 인한 물류 대란과 같은 공급망 충격이나, 인구 구조의 변화와 기술 발전으로 인한 제조업 인구의 저하 등의 어떻게 능동적으로 대응할 것인가도 문제입니다. 스마트 제조는 소비자의 수요 파악, 제조 장비의 수명 예측, 효율적인 물류 계획 등의 문제를 빠르게 해결하기 위해 빅데이터와 인공지능을 중점적으로 활용합니다. 인간-기계 협업은 서로의 장단점을 보완하는 기술로, 사람의 숙련도를 디지털화하고 인공지능 로봇을 통해 자율적으로 수행될 수 있습니다. 보다 발전하게 되면 원격에서 사람의 간단한 명령으로 로봇이 알아서 작업을 수행하고, 돌발 상황에 대응하게 되어 작업자가 보다 안전해지고, 사람의 숙련화를 위한 비용과 이를 사용하는 시간적, 공간적 제약을 허물게 될 것입니다.


5. 현재 가장 관심을 가지고 계시거나 새롭게 진행 중인 연구들에 대해 소개해 주십시오.

- 최근 의류 산업, 연삭 등의 후공정, 용접, 페인트 도포 등 자동화가 어려운 수작업 공정들의 인력 문제가 심각한데, 산업용 로봇으로 자동화를 하기 어렵습니다. 작업자는 오랫동안 작업해 온 공정으로, 손재주라고도 부를 수 있는데, 다른 환경에서의 작업에도 기존 노하우를 활용하여 쉽게 작업할 수 있습니다. 하지만 산업용 로봇은 위치 제어 기반이며, 사람과 비슷하게 실시간으로 오감을 통해 작업하는 자동화는 대량 생산이 아닌 환경에서는 프로그램을 바꾸기가 쉽지 않습니다. 또한 새로운 작업이 되면 로봇 프로그램도 새로 작성해야 합니다. 따라서 저는 I2CPS 프레임워크와 같은 사이버 물리 시스템을 통해, 사람이 가상에서 수행한 작업을 통해 산업용 로봇이 가져야할 인공지능을 학습하고자 합니다. 즉, 여러 형상에서 수행한 가상의 숙련자 작업을 통해 인공 지능을 학습하고, 새로운 형상이 오면 로봇 프로그램이 알아서 작성되는 시스템을 구현하기 위해 노력하고 있습니다.

다른 연구로는 사물인터넷 기반 센서와 인공지능을 기반으로 하는 스마트 모니터링이 있습니다. 의사가 환자의 몸에서 나오는 소리를 청진기로 모니터링하여 건강을 예측하듯이, 로봇이나 공작기계에 청진기 기반 센서를 부착해서 현재 상태를 파악하고 이상이나 고장을 예측하는 연구를 수행해 왔습니다. 청진기 센서는 청진기의 컵과 마이크를 조립하여, 라즈베리파이와 같은 임베디드 PC를 통해 장비에 붙이기만 하면 쉽게 상태를 모니터링할 수 있습니다. 또한 라인을 세우거나 장비를 개조해야 하는 불편함이 없어, 스마트 제조의 전환에 비용이 부담이 되는 중소기업의 노후 장비에도 적용할 수 있습니다.

생산 장비를 모니터링할 때, 딥러닝의 학습을 위한 데이터는 정상 상태가 이상상태보다 훨씬 많아 데이터의 불균형을 초래합니다. 이를 해결하기 위해 오토인코더를 사용해 산업용 로봇의 이상상태 (허용한도 이상의 무게를 들고 있는 경우)를 파악하는 프레임워크를 제시했습니다. 오토인코더 학습에는 청진기 기반의 내부 음향 센서에서 녹음된 소리를 STFT Spectrogram 으로 변경한 데이터를 입력으로 하여, 정상 하중일 때의 소리를 똑같이 복제하는 오토인코더 모델을 학습했습니다. 해당 모델은 이상 하중일때를 판단했으며, 이는 정상 하중의 데이터만으로 학습되어, 데이터 불균형 문제를 해소할 수 있었습니다. 앞으로 딥러닝 기반의 센서 분석을 통해 장비의 수명과 이상상태를 예측하는 연구를 지속해서 수행할 계획입니다.




6. 현재 운영 중인 KAIST Smart Manufacturing Systems (SMS) Lab.에 대해 소개해 주십시오.

- 저희 연구실은 올해 9월에 시작한 신생 연구실입니다. 현재 석사과정 1명이며, 앞으로 연구를 함께 수행할 석사 및 박사과정을 모집하고 있습니다. 저희는 자율 제조 시스템을 구현을 목표로 기계, 전자, 컴퓨터 공학 등 다양한 분야의 기술과 융합을 추구하고 있으며, 해당 분야에 관심이 있는 학생을 모집하고 있습니다. 현재 연구 테마는 혼합현실 기반 인터페이스, 제조 로봇의 인공 지능, 사물인터넷 (IoT) 및 기계학습 기반 스마트 모니터링 등 입니다.




7. 많은 분들과 같이 연구를 진행해 오셨는데, 그 동안 영향을 받은 연구자가 많으실 것 같습니다. 어떤 연구자 분들의 어떤 영향을 받으셨는지 궁금합니다.

- 민병권 교수님 (연세대학교), Martin Jun (Purdue University) 교수님은 생산 메카트로닉스와 생산 시스템에 대한 연구를 수행하시며 저에게 해당 분야를 지도해 주셨고, 실제 제조 현장과 연관된 프로젝트를 수행하는 경험을 제공해 주셨습니다. 또한 스마트 제조 연구 초장기 부터 연구 테마를 발굴하는데도 많은 조언을 주고 계십니다. Jan-Anders Mansson (Purdue University), John Sutherland (Purdue University) 교수님은 고령에도 불구하고 열정적으로 학생을 지도하고 연구를 수행하고 계십니다. 이 분들을 통해 새로운 연구 테마를 기획하고, 연구 프로젝트를 진행하며, 학생들과 소통하는 방법에 대해 많이 배우게 되었습니다.


8. 연구 활동하면서 평소 느끼신 점, 자부심, 보람에 대해 이야기해 주십시오.

- 딥러닝을 기반으로 한 로봇 자율 피킹 (Picking) 이나 청진기 센서를 기반으로 한 생산 공정 모니터링 등의 연구들이 한국과 미국의 중소기업들에게 관심을 받고, 프로젝트를 함께 수행하여 실제 공장에 전개 되어 사용되고 있음에 자부심을 느낍니다. 특히 중소기업들은 스마트 제조로 전환을 위한 인력과 비용에 한계가 있는데, 제 연구가 보다 적은 비용으로 중소기업의 제조 경쟁력을 높일 수 있다는 생각에 보람을 느끼고 있습니다.


9. 이 분야로 진학(사업)하려는 후배들에게 조언해 주신다면?

- 본인이 연구 또는 개발하고 있는 기술이 제조업에 적용될 수 있는가에 대한 깊은 고민이 필요합니다. 제조업에 사용되는 기술은 24시간 쉬지않고 적용되며 환경의 변화가 큽니다. 또한 라인이 멈추는 경우 가동률과 제조 원가에 상당한 타격이 있기 때문에 충분히 검증되고 강건해야 합니다. 따라서 새로운 기술을 실제 제조업에 적용할 때, 이러한 부분을 감안하여 기술개발이 이루어져야 한다고 생각합니다. 반면 현재 제조업에 직면한 생산성과 품질 관리의 한계를 뛰어넘으려면 전기/전자공학, 재료공학, 컴퓨터공학 등 기계공학 외의 다양한 분야의 기술을 활용해야 하므로, 다른 연구자와의 협업도 적극적으로 진행해야 합니다.


10. 다른 하시고 싶은 이야기들

- 제가 수행하는 생산 공학의 연구는 로봇 공학, 인공지능, 디지털 신호 처리, 햅틱, 혼합현실 등 기계공학과와 타 분야의 협업이 절실히 필요합니다. 협업을 원하시는 연구자 분들의 많은 관심과 연락 부탁드립니다.



* 윤희택 교수의 최근(대표) 논문들

- Yun, H. and M.B.G. Jun. “Immersive and Interactive Cyber-Physical System (I2CPS) and Virtual Reality Interface for Human Involved Robotic Manufacturing,” Journal of Manufacturing Systems 62 (2022): 234-248.

- Park, J., M.B.G. Jun, and H. Yun*. “Development of robotic bin picking platform with cluttered objects using human guidance and convolutional neural network (CNN),” Journal of Manufacturing Systems 63 (2022): 539-549.

- Park, J., C. Han, M.B.G. Jun, and H. Yun*. “Autonomous robotic bin picking platform generated from human demonstration and YOLOv5.” Journal of Manufacturing Science and Engineering (2023): 1-33.

- Yun, H., H. Kim, Y. Jeong, and M.B.G. Jun. “Autoencoder-based anomaly detection of industrial robot arm using stethoscope based internal sound sensor,” Journal of Intelligent Manufacturing (2021): 1-18.

- Yun, H., E. Kim, D. Kim, H. Park, and M.B.G. Jun. “Machine learning for object recognition in manufacturing applications: A review.” International Journal of Precision Engineering and Manufacturing (2023).