Command Palette
Search for a command to run...
LabelDistill:基于标签引导的跨模态知识蒸馏用于相机基于的3D目标检测
LabelDistill:基于标签引导的跨模态知识蒸馏用于相机基于的3D目标检测
Kim Sanmin ; Kim Youngseok ; Hwang Sihwan ; Jeong Hyeonjun ; Kum Dongsuk
摘要
近期在基于摄像头的3D目标检测方面的进展引入了跨模态知识蒸馏技术,以缩小与LiDAR 3D检测器之间的性能差距,利用LiDAR点云中的精确几何信息。然而,现有的跨模态知识蒸馏方法往往忽略了LiDAR固有的缺陷,例如对远处或被遮挡物体测量的模糊性,这些缺陷不应传递给图像检测器。为了解决LiDAR教师模型中的这些缺陷,我们提出了一种新颖的方法,该方法利用来自地面真值标签的无异方差不确定性(aleatoric uncertainty-free)特征。与传统的标签引导方法不同,我们近似教师模型头部的逆函数,从而有效地将标签输入嵌入到特征空间中。这种方法提供了额外的准确指导,与LiDAR教师模型一起提升了图像检测器的性能。此外,我们引入了特征分割技术,有效传递了教师模态的知识,同时保留了学生模态的独特特征,从而最大化了两种模态的潜力。实验结果表明,我们的方法相比基线模型提高了5.1个mAP点和4.9个NDS点,证明了该方法的有效性。代码可在以下链接获取:https://github.com/sanmin0312/LabelDistill