‘CDE(Computational Design and Engineering) 경진대회’는 CDE 컨텐츠와 CDE 소프트웨어, CDE 메이커 분야에서 최고의 작품을 모집하는 대회로써, 국내 관련 분야의 저변을 확대하고, 일반 국민들을 대상으로 CDE에 대한 인식을 고취시켜 CDE 관련 산업이 국내 주요 산업으로 성장할 수 있는 기반을 마련하고자 개최된 경진대회이다. 해당 대회는 기업, 연구소, 대학(원) 팀 다수가 매년 CDE 경진대회에 참가하고 있으며, 매년 출품작들의 수준도 꾸준히 성장하고 있다.
제 20회 CDE 경진대회는 한국CDE학회가 주관하고, 과학기술정보통신부에서 후원하여 2019년 9월 16일 ~ 2020년 1월 31일까지 작품설명서를 통한 1차 평가, 작품 파일 및 발표를 통한 2차평가를 통해 경진대회가 진행되었다.

제 20회 CDE 경진대회 소프트웨어 부문에 참가한 SMR(Smart Mixed Reality) 팀은 증강현실(AR; Augmented Reality) 관련 연구자들과 해양플랜트 관련 전문가들로 구성하여 광주과학기술원 최준호 (박사과정, 본인), 고광희(지도교수), 이관행(교수), 소프트힐스 여창훈(이사), 삼성중공업 박정서(프로), 마린테크인 김원돈(대표) 총 6명으로 구성하였다.

우리 SMR 팀은 해양플랜트 산업에서 생산/의정공정에서 발생하는 오류를 최소화하고 설치된 부품의 검사를 효율적으로 수행할 수 있는 소프트웨어로써 ‘해양플랜트 배관류 설치 및 검사를 위한 스마트 혼합현실’을 해당 대회에 출품하였다.
또한, 개발된 소프트웨어를 검증하기 위해 제작된 어플리케이션을 해양플랜트와 유사한 환경에서 1차 테스트를 수행하여 기술 검증을 한 뒤, 실제 해양플랜트 환경에서도 2차 테스트를 수행하고, 데모 영상을 제작하여 출품하고 발표하였다.




 

해양플랜트 산업에서 작업자가 배관류를 설치하고, 검사자들이 검사하는 작업은 Figure. 2, 왼쪽과 같이 2D 도면에 의존하여 진행되어 왔고, 이러한 방식은 오류로 인한 공정 지연 및 품질 약화를 초래하게 되었다. 이를 극복하기 위해 최근에는 효율성을 높이기 위한 다양한 방법들이 제안되어왔으며, 특히 증강현실(AR), 혼합현실(MR) 등의 방법을 통해 2D 도면이 아닌 3차원으로 배관류 설치 및 검사에 대한 정보를 제공하는 형태로 발전하였다.



 

우리는 소프트웨어 개발에 앞서, 증강현실을 이용하여 산업현장에 얼마나 적용되고 있는지, 어떻게 적용되고 있는지에 대한 논문 및 상용 소프트웨어 조사를 하였다. 조사 결과 Figure. 3, 4와 같이 마커 및 비마커 기반 증강현실을 이용한 산업현장 어플리케이션들을 찾을 수 있었다. 마커 기반 증강현실에서는 산업현장 내에 마커를 부착하여 현장의 위치와 가상 데이터의 위치에 대한 동기화를 수행하고, 필요한 정보들을 증강하는 형태로 소프트웨어가 개발되었고, 비마커 기반 증강현실을 수행하는 곳에서는 모바일 기기에서 3차원 스캐닝 과정을 통해 실제 공간에 대한 스캐닝을 수행하고, 이를 3차원 설계 데이터와 정합(registration) 과정을 통해 필요 정보들을 증강하는 형태로 개발되었다.




하지만, 기존의 마커 기반의 증강현실, 비마커 증강현실은 완성된 작업공간(ex. 해양플랜트, 공장)에는 직접적으로 적용이 가능하여 현재 어플리케이션들도 많이 나오고 있지만, 우리 팀이 적용하고자하는 실제 작업 중인 해양플랜트에서는 사용하기 어려웠다. 그 이유는 해양플랜트에 직접 답사를 가보니 작업물들의 이동, 기상 영향을 받아 마커를 현장에 부탁하기 어려워 마커 기반 증강현실 적용이 어렵고, 또한 작업 진행 중인 현장은 3D 설계 모델이 다른 부분이 많이 존재하고, 같은 부분이 있더라도 포장되어 있거나, 중복된 부품들이 많이 존재하기 때문에 실제 주변 환경과 3D 설계 데이터의 정확한 정합 과정을 수행할 수 없어 직접적인 비마커 증강현실 적용 또한 어려웠다. 따라서, 우리가 적용하고자하는 해양플랜트 환경에 맞는 새로운 혼합현실 플랫폼이 필요하다고 생각하여, 기존의 배관류 설치 및 검사에 대한 정보를 제공하는 증강현실 방법에 위치 기반 증강현실을 더해서 소프트웨어를 개발하기로 결정하였다.



 

우리가 제안하는 위치기반 증강현실은 해양플랜트 내에서 사용자의 위치를 파악하여 위치에 맞는 데이터를 사용하여 정합 과정을 수행한다면 같은 패턴이 많이 반복되거나 부품이 일부가 가려져 있더라도 정합 성공률을 높일 수 있고, 또한 위치에 맞는 정보들만 전달 할 수 있기 때문에 효율성이 높은 증강현실 방법이다. 우리는 이를 포함하여 배관류 설치 및 검사에 대한 정보를 제공하는 혼합현실 기반 플랫폼 / 소프트웨어를 개발함으로써 해양플랜트에서의 설치 오류를 최소화하고 설치 된 부품의 검사를 효율적으로 수행할 수 있도록 하였다.




 

개발 소프트웨어는 Figure. 7과 같이 1) 통합 모델을 기반으로 제작된 배관 의장품의 형상 정합성을 검토하고 설치 시뮬레이션을 수행하는 형상 형상모델 기반 의장품 설치 시뮬레이션 기술, 2) 실제 위치와 가상의 설계 데이터의 위치를 동기화 해주기 위한 기술로써 원하는 위치에 설계 데이터를 제공하는 실내/외 환경에서의 안정적 위치 추적 기술, 3) 실내/외 환경에서 안정적으로 동작하는 해양플랜트 공정에 특화된 혼합현실 플랫폼, 4) 선박 및 해양플랜트 건조에서 파이프(pipe),서포트(support)와 같은 배관류 의장품을 혼합현실 플랫폼 기반으로 작업 지시를 수행하는 지원 기술, 5) 야드에서 의장품 설치 이후에 혼합현실을 통해 실제 설치된 배관류와 3차원 설계 모델을 직접 비교할 수 있는 환경을 제공함으로써 효율적인 공정 검사를 지원하고, 공정 상황을 평가하기 위한 기술 혼합현실기반 의장 공정 검사기술로 구성된다.

개발 소프트웨어에서 구성되는 기술들은 각각 해양플랜트 배관류 설치 및 검사에 필요한 설치 정보들은 서버에 저장되고, 혼합현실을 수행하는 장치에서는 실내/외 위치 추적을 수행하여 위치 기반 증강현실을 할 수 있도록 구성하였다.

우리가 개발한 소프트웨어의 경우, 위치 기반 증강현실을 수행해야하기 때문에 그에 필요한 특수한 하드웨어들이 필요하다. 우선, 설치 및 검사에 필요한 설치 정보들이 저장되고, 정합을 수행하는 서버 PC가 관리실에 배치되고, 사용자는 혼합현실을 수행하는 장비로써 Tango SDK가 탑재되어 있는 Phab2 Pro 모바일 기기와 사용자의 위치를 추정할 수 있는 IMU 센서를 발목에 착용하도록 하였다.



 

시스템 구성은 크게 관리자가 설치 및 검사에 필요한 정보들을 관리하는 서버, 실제 해양플랜트내에서 작업을 수행하는 사용자로 구분되며, 사용자는 하드웨어 구성에서 설명했던 것처럼 모바일 및 IMU를 착용한다. 여기에서 모바일과 IMU는 블루투스(Bluetooth)를 통해 통신하고, 서버와 모바일은 Wi-Fi를 통해 통신하도록 구성하였다.

소프트웨어 구성에서 서버에는 의장품 설치 시뮬레이션, 배관공정정보관리들이 포함되어 있으며, 모바일은 데이터를 받아 관리하고, 렌더링, UI, 증강현실을 수행함으로써 배관류 설치 및 검사에 가이드를 줄 수 있도록 개발하였다.

서버에 저장되어 있는 형상모델 기반 의장품 시뮬레이션의 경우, Figure. 11와 같이 배관 설치 공정정보, 3D 모델링에서 형상 데이터들을 기반으로 DB를 구축하고, 그것들을 통해서 검증 및 시뮬레이션 할 수 있는 소프트웨어이다. 이 소프트웨어에서는 파트들의 치수 측정, 도면, 점 군 데이터 가시화 등의 검증들이 가능하고 설치 시뮬레이션에서는 간섭 체크, 설치 시뮬레이션 등이 가능하다. 이 소프트웨어의 경우, 관리자가 서버 PC에서 실행할 수 있으며, 해양플랜트 작업자들에게 제공할 DB들을 관리할 수 있다.

혼합현실 장치에 저장되어 있는 위치추적 모듈은 Figure. 12과 같이 구성된다. 우선 IMU 센서에서 획득된 데이터들을 블루투스를 통해 모바일로 전송하고, 모바일에서 사용자의 위치를 실시간으로 계산하는 모듈이다. 이를 통해 사용자의 이동거리, 최종 위치를 계산할 수 있고, 앞서 설명한 위치 기반 증강현실을 가능하게 한다.



 

또한 모바일에서는 작업 공간에 도착했을 때 Figure. 13와 같이 Visual SLAM 모듈을 통해 3차원 점 군을 스캐닝을 수행하도록 하고, 스캐닝 한 점 군들과 앞서 추정한 위치정보를 서버 PC에 전송하면 서버 PC 에서는 위치정보에 맞는 설계 모델과 스캐닝 한 3차원 점 군을 정합하여 카메라 자세 변환 행렬(transformation matrix)를 모바일에 전송하여 혼합현실을 가능하게 한다.



Figure. 14의 혼합현실 가시화 플랫폼에서는 모바일에서 혼합현실을 자연스럽게 가시화하기 위해 필요한 기능들이 포함되고, 동시에 3D CAD 모델을 경량화하여 무거운 정보들을 실시간으로 렌더링 할 수 있는 모듈이다.




 

이렇게 구축한 혼합현실 플랫폼에서는 앞서 구축한 정보들을 Figure. 15과 같이 가시화하여, 공정 정보, 시뮬레이션, 검사 등을 가능하게 한다.

마지막으로, 서버는 아래의 Figure. 16과 같이 구성되며, 설치 및 검사에 필요한 정보 전달, 3차원 점 군과 CAD 모델의 정합을 위한 데이터 전달을 수행한다. 해양플랜트 내의 유저들은 각자의 모바일 장치, 클라이언트에서 서버에 정보를 요청하거나, 정합 계산을 요청하면 서버에서는 그에 맞게 수행하고, 유저들에게 다시 전달해주는 역할을 한다. 이를 통해 다중 사용자가 해양플랜트에서 개발한 혼합현실 플랫폼을 사용할 수 있는 서버 구축을 완료하였다.





 

해양플랜트에 진입한 사용자가 어플리케이션을 동작하면 아래의 Figure. 18와 같은 화면이 나타나고, 위치 설정을 통해 우선, 실제 공간에서 입구의 마커 위치를 선택한다. 여기에서 말하는 마커는 증강현실에서의 마커가 아닌 위치 초기화를 위한 입구를 인식할 수 있는 마커를 뜻하며, Visual 마커, RFID 등 다양한 것들을 통해 초기화를 할 수 있다. 첫 번째 및 두 번째 마커를 인식하면, IMU 기반 위치 추적 모듈이 자동적으로 실행되고, Figure. 19의 아래 이미지처럼 2D 설계 도면 위에 사용자의 위치가 가시화된다. 작업 공간에 위치 했을 때 어플리케이션 오른쪽 상단의 점 군 획득 모듈을 통해 다음 과정으로 넘어간다.




 

점 군 획득 모듈을 실행하면 Figure. 19과 같은 화면을 통해 획득되는 점 군을 직접 볼 수도 있고, 획득되는 점 군 개수를 확인할 수 있다. 점 군 획득이 완료되면, Wi-Fi를 통해 서버로 전송하여 저장되어 있는 3차원 설계 모델과의 정합을 수행하게 되고, 정합을 수행하면 Figure. 19과 같이 실제 공간에서 획득된 점 군과 설계 데이터를 매칭함으로써 현실 공간과 가상 공간의 카메라 자세를 일치시킬 수 있다. 이렇게 일치시킬 수 있는 정합 결과물인 변환 행렬을 모바일로 전송하게 되면 증강현실이 가능하다.

증강현실에서는 모델트리, 속성정보 등을 사용자와의 인터렉션을 통해 확인할 수 있고, 또한 실제 공간 위에 설계 모델을 증강함으로써 설치 유무에 대한 검증과 설치 시뮬레이션을 가시화하여 설치 및 검사에 도움을 줄 수 있는 콘텐츠를 Figure. 20과 같이 제공한다

우리 팀은 개발된 기술을 검증하기 위해 우선적으로 Figure. 21와 같이 해양플랜트와 최대한 유사한 환경에서 실험을 수행하였다. Figure. 21의 위는 건물의 기계실에서 IMU 기반 위치 추적을 수행함으로써 해양플랜트에서 발생할 수 있는 자기장에 의한 교란 현상을 최소화하는 위치 추적 알고리즘을 개발하였고, 강건성을 테스트하였다. Figure. 21의 아래에서는 해양플랜트와 같이 포장되어 있는 환경에서도 점 군 획득을 하고, 정합이 잘 수행되는지를 테스트하였다. 테스트 결과가 좋아질 때까지 문제점을 분석하고, 알고리즘을 수정함으로써 최종 어플리케이션을 만든 후 실제 해양플랜트에서 실험을 수행하였다.



 

Figure. 22은 실제 해양플랜트에서 테스트한 결과이다. 처음 해양플랜트에 올라가서 테스트했을 때는 생각지 못한 오류들(자기장에 의한 교란, 반복되는 파트들에 의한 정합 실패 등)로 인해 어플리케이션이 제대로 동작하지 않았지만 유사 환경에서 실험할 때 습득한 문제점 분석 및 알고리즘 수정을 통해 해양플랜트 환경에 맞게 변경하여, 해양플랜트에서 강건하게 동작하는 혼합현실 어플리케이션을 제작하였다. Figure. 22 위와 같이 해양플랜트 내에서도 정확하게 동작하는 위치 추적 결과물과 Figure. 22 아래와 같이 정확한 정합을 통한 증강현실 콘텐츠 제공을 통해 소프트웨어를 검증할 수 있었다.

최근 사용자의 위치를 추적하고 위치를 기반으로 적합한 콘텐츠를 제공하는 증강현실 기술이 활발히 연구되고 있다. 하지만 대부분 마커(marker)와 같은 보조 장치를 활용하는 방식으로 국내외 여러 연구소 및 대학, 기업 등에서 연구개발이 진행되고 있으나 특정 마커 없이 위치 추적을 기반으로 선박이나 해양플랜트에 응용한 사례는 희박하다. 따라서 획득한 위치 정보를 바탕으로 모바일 장치에서 설계 데이터를 동기화하고 작업자들에게 효율적으로 작업정보를 전달하기 위해서는 사용자의 위치 추적 기술과 혼합현실 기술의 융합이 필수적이며, 개발 된 소프트웨어는 이를 효율적으로 수행할 수 있어 신규성 및 독창성에서 타 기술들보다 우수하다고 생각한다.

또한 개발 된 소프트웨어는 해양플랜트뿐만 아니라 육상 플랜트, 건축 등과 같은 산업과 비제조업 분야에도 적용할 수 있어 활용성에도 뛰어나며, 해양플랜트 제작기술 고도화를 통한 기술 경쟁력을 바탕으로 해양플랜트 시장을 주도하고, IT 융합 기반 해양플랜트 설계 및 제작에 이른 전문 인력의 증대를 통한 관련 산업의 발전에 많은 도움이 될 수 있어 경제적, 산업적인 측면에서도 기여할 수 있을 것으로 예상한다.

출품작인 ‘해양플랜트 배관류 설치 및 검사를 위한 스마트 혼합현실’ 소프트웨어를 개발하면서 많이 배웠던 것은 연구에서의 향상과 실제 산업현장에서 사용성에 대한 향상은 다르다는 것을 많이 깨달았습니다. 연구에서는 정확도 및 속도 향상에 집중하여 기술 개발이 많이 진행되고 있지만 실제 산업현장에서 쓰기 위해서는 기술의 안정성이 더욱 중요하다는 것을 이번 소프트웨어 개발에서 많이 배울 수 있었습니다.

SOTA(State-of-the-art) 기술들을 직접 해양플랜트에 적용해보고, 어떤 문제점들이 있는지 분석하고, 관련 분야에 대한 논문도 읽고, 알고리즘을 수정하는 과정들을 거쳐 문제를 해결해가는 방법들을 많이 배울 수 있던 시간이었습니다. 또한, 이러한 과정 끝에 좋은 결과물들이 나올 수 있어 개인적으로 만족스러웠고, 제 20회 CDE 경진대회에서 ‘해양플랜트 배관류 설치 및 검사를 위한 스마트 혼합현실’ 소프트웨어를 통해 대상(과학기술정보통신부 장관상)을 받을 수 있어 영광이었다.