AdaCrossNet: 다중모달 대비 점군 학습을 위한 적응형 동적 손실 가중치

대규모 포인트 클라우드 데이터셋의 수동 레이블링은 그 비정형적인 구조로 인해 인력이 많이 드는 작업이다. 크로스모달 대조학습 기법인 CrossPoint 및 CrossNet과 같은 기존 방법들은 다중모달 데이터를 활용한 자기지도 학습에서 상당한 진전을 이루었으나, 내모달(IM, intra-modal) 및 크로스모달(CM, cross-modal) 손실에 대해 고정된 가중치를 사용함으로써 학습 과정에서 불안정성이 발생하는 문제를 겪고 있다. 이러한 고정 가중치는 각 모달의 수렴 속도 차이를 고려하지 못하여 학습의 효율성과 안정성을 저해한다. 본 연구에서는 포인트 클라우드 이해를 위한 새로운 자기지도 학습 프레임워크인 AdaCrossNet을 제안한다. AdaCrossNet은 내모달 및 크로스모달 대조학습에 대해 동적 가중치 조정 메커니즘을 도입하여, 학습 중 각 모달의 수렴 동태에 따라 IM 및 CM 손실의 기여도를 적응적으로 균형 잡는다. 이 프레임워크는 3차원 포인트 클라우드와 그에 대응하는 2차원 렌더링 이미지 간의 유사성을 공통 잠재 공간 내에서 동시에 강화함으로써 표현을 학습한다. 학습의 안정성을 보장하기 위해, 가중치 업데이트를 부드럽게 하기 위해 지수 이동 평균(Exponentially Weighted Moving Average, EWMA)을 활용한다. 제안된 방법은 ModelNet40, ShapeNetPart, ScanObjectNN 등의 벤치마크 데이터셋에서 실험을 수행하였으며, 결과적으로 기존 방법들을 상회하는 성능을 보였다. ModelNet40 분류 과제에서는 91.4%의 정확도를 달성하였고, ShapeNetPart 분할 과제에서는 mIoU 점수 85.1%를 기록하였다. 또한 DGCNN 백본과 결합한 AdaCrossNet은 ScanObjectNN 데이터셋에서 82.1%의 정확도를 보이며 뚜렷한 성능 향상을 보였다. 본 연구 방법은 학습 효율성을 향상시키면서도, 하류 작업에 대한 학습된 표현의 일반화 능력을 크게 증대시킨다.