2달 전

신경 장면 흐름 사전 정보

Xueqian Li; Jhony Kaesemodel Pontes; Simon Lucey
신경 장면 흐름 사전 정보
초록

딥 러닝 혁명 이전에는 많은 인식 알고리즘이 실행 시간 최적화와 강력한 사전/정규화 페널티를 결합하여 기반을 두고 있었습니다. 컴퓨터 비전에서 이러한 예의 대표적인 사례는 광학 흐름과 장면 흐름입니다. 감독 학습은 명시적인 정규화의 필요성을 대부분 대체하였습니다. 대신, 이들은 사전 통계를 포착하기 위해 많은 양의 라벨된 데이터에 의존하며, 이는 많은 문제에서 항상 쉽게 접근할 수 있는 것이 아닙니다. 신경망을 학습하는 데 최적화가 사용되지만, 이 네트워크의 가중치는 실행 시간에 고정됩니다. 결과적으로 이러한 학습 솔루션은 영역별로 특화되어 있으며 다른 통계적으로 상이한 시나리오로 일반화되지 않습니다. 본 논문에서는 주로 실행 시간 최적화와 강력한 정규화에 의존하는 장면 흐름 문제를 재검토합니다. 여기서 중점적으로 제시되는 혁신은 신경 장면 흐름 사전(Neural Scene Flow Prior)의 포함으로, 신경망 구조를 새로운 유형의 암묵적 정규화자로 활용합니다. 학습 기반 장면 흐름 방법과 달리, 최적화는 실행 시간에 이루어지며 우리의 접근 방식은 오프라인 데이터셋이 필요하지 않아 -- 자율 주행과 같은 새로운 환경에서 배포하기에 이상적입니다. 우리는 다층 퍼셉트론(Multilayer Perceptrons, MLPs)만을 사용하여 구성된 구조가 장면 흐름 사전으로 활용될 수 있음을 보여줍니다. 우리의 방법은 장면 흐름 벤치마크에서 경쟁력 있는 -- 아니면 더 나은 -- 결과를 얻습니다. 또한, 우리의 신경 사전(Neural Prior)의 암묵적이고 연속적인 장면 흐름 표현 덕분에 포인트 클라우드 시퀀스 간 밀도 높은 장기 대응 관계를 추정할 수 있습니다. 밀도 높은 운동 정보는 운동 벡터를 적분하여 시간을 통해 점들을 전파시키는 장면 흐름 필드로 표현됩니다. 우리는 LiDAR 포인트 클라우드 시퀀스를 누적함으로써 이러한 능력을 입증합니다.

신경 장면 흐름 사전 정보 | 최신 연구 논문 | HyperAI초신경