MS 지원, MIT 연구팀 mmNorm으로 박스 안 물체 정밀 3D 재구성

마이크로소프트의 지원을 받은 매사추세츠 공과대학(MIT) 연구팀이 밀리미터파(mmWave)를 활용해 박스 안의 물체를 정확히 인식하는 기술을 개발했습니다. 밀리미터파는 전자기파 스펙트럼에서 30~300GHz 범위(1~10mm 파장)에 해당하며, 마이크로파와 원적외선 사이의 특성을 공유합니다. 이 전파는 플라스틱 용기나 벽 등 일반적인 장애물을 관통할 수 있으며, 숨겨진 물체 표면에서 반사되어 시야가 가려진 물체를 정밀하게 3D 재구성할 수 있습니다. 밀리미터파의 이러한 특성은 다양한 응용 분야를 가능하게 합니다. 예를 들어, 분류 로봇은 비시야 재구성 기술을 통해 어지러운 환경이나 밀폐된 상자 내의 숨겨진 물체를 정확히 위치시키고 조작할 수 있습니다. 증강현실(AR) 기기는 이 기술을 활용해 가려진 물체를 감지하고 시각적으로 표현할 수 있으며, 스마트 홈 디바이스는 비시야 손동작 인식을 통해 사용자가 시야 범위 외에 있어도 무접점 명령을 수행할 수 있습니다. 또한, 레이더 밀리미터파 신호는 구름 뒤에 있는 비행기를 효과적으로 탐지할 수 있습니다. 그러나 기존의 밀리미터파 재구성 방법들은 작은 물체, 특히 가정용품 등의 정밀한 재구성을 수행하는데 한계가 있었습니다. 이에 MIT 연구팀은 'mmNorm'이라는 혁신적인 이미징 기술을 개발하여, 밀리미터파 신호를 활용해 물체를 정밀하게 3D 재구성하는 데 성공했습니다. 이 기술은 실제 세계 실험에서 110회 이상, 60여 가지 일상 물체를 대상으로 평가되었으며, 최신 기준에 비해 96%의 정확도를 달성했습니다. 이 연구는 미국 국립과학재단, MIT 미디어랩, 그리고 마이크로소프트의 공동 지원을 받았습니다. 연구 초기에, MIT 연구팀은 기존 재구성 기술들이 중요한 특성을 간과하고 있다는 사실을 발견했습니다. 즉, 밀리미터파 레이더가 신호를 발사하면, 거의 모든 표면이 거울처럼 신호를 반사하지만, 표면이 안테나를 정면으로 향하고 있을 때만 신호가 레이더 수신기에 돌아옵니다. 표면이 다른 방향을 향할 경우, 반사된 신호는 레이더에서 벗어나 수신되지 않습니다. mmNorm은 이러한 거울 반사를 해석하는 고급 알고리즘을 통해, 신호 반사 각도, 시간 차이, 그리고 미세한 변화를 정밀히 분석하여 물체 표면의 각 점이 어떤 방향으로 향하고 있는지를 추론할 수 있습니다. 이를 통해 '표면 법선 벡터'를 추정할 수 있는데, 이는 표면의 방향을 설명하는 전문 용어입니다. 연구팀은 mmNorm 프로토타입을 만들기 위해 레이더를 로봇 팔에 장착했습니다. 로봇 팔이 숨겨진 물체 주변을 움직이며 지속적으로 측정 데이터를 수집하면서, 시스템은 다양한 위치에서 수신된 신호 강도를 비교하여 물체 표면 곡률을 추정합니다. 예를 들어, 안테나는 표면이 정면을 향하고 있을 때 가장 강한 반사를 수신하며, 다른 방향을 향한 표면에서는 약한 반사를 수신합니다. 레이더의 여러 안테나가 서로 다른 강도의 반사 신호를 받기 때문에, 각 안테나는 표면 법선 벡터의 방향에 대해 '투표'를 합니다. "몇몇 안테나의 투표권이 높고, 몇몇은 낮지만, 우리는 모든 투표 결과를 통합하여 합의된 표면 법선 벡터를 도출할 수 있습니다"라고 MIT 연구원인 로라 도즈(Laura Dodds)는 설명했습니다. mmNorm은 공간의 모든 점에서 표면 법선 벡터를 추정해야 하므로 많은 가능한 표면을 생성하게 됩니다. 이를 해결하기 위해 연구팀은 컴퓨터 그래픽 기술을 차용하여, 수신된 신호를 가장 잘 나타내는 표면을 필터링하는 3D 함수를 구축했습니다. 결과적으로, 이 시스템은 96%의 정확도로 복잡한 구부러진 형태의 일상 물체들을 재구성하는데 성공했습니다. 이는 기존 최고 기준의 78% 정확도보다 크게 높은 수치입니다. mmNorm은 또한 같은 박스 내의 여러 물체(예: 숨겨진 나이프, 포크, 스푼 세트)를 구분하고, 나무, 금속, 플라스틱, 고무, 유리 등 다양한 재질의 물체(복합 재료 포함)에 대해 우수한 성능을 보였습니다. 그러나 아직 금속이나 두꺼운 벽을 관통하여 이미지를 생성하는 것은 불가능합니다. 이 기술의 정밀도 향상은 고해상도 3D 재구성의 새로운 응용 분야를 넓힐 것으로 기대됩니다. 예를 들어, 로봇은 도구 상자 안의 다양한 도구를 정확히 식별하고, 망치 손잡이의 정확한 모양과 위치를 결정한 후 이를 잡아낼 수 있습니다. AR 헤드셋과 결합하면, 공장 근로자들은 완전히 가려진 물체의 실감 나는 이미지를 확인할 수 있으며, 보안 검사나 군사 정찰에서도 숨겨진 물체의 재구성 정밀도를 높일 수 있습니다. 앞으로 연구팀은 저반사율 물체의 이미징 성능 향상, 더 두꺼운 장애물 관통 능력 강화, 그리고 지속적인 해상도 최적화에 집중할 계획입니다. 로라 도즈는 "이 연구는 밀리미터파 신호와 3D 재구성 과정에 대한 우리의 인식 패러다임을 완전히 바꾸었습니다. 우리는 이러한 혁신적인 통찰력이 더욱 넓은 영향력을 끼칠 것으로 기대합니다"라고 강조했습니다. 산업계 인사들은 mmNorm 기술이 로봇 제어, 증강현실, 스마트 홈, 보안 검사 등 다양한 분야에서 큰 잠재력을 가지고 있다고 평가합니다. 매사추세츠 공과대학(MIT)은 세계적으로 선도적인 공과대학으로, 혁신적인 기술 개발과 연구를 통해 산업계와 사회에 지속적인 영향을 미치고 있습니다. 마이크로소프트 역시 이러한 연구를 지원함으로써, 미래 기술 발전에 기여하고 있습니다.