HyperAIHyperAI

Command Palette

Search for a command to run...

LabelDistill:基于标签引导的跨模态知识蒸馏用于相机基于的3D目标检测

Kim Sanmin ; Kim Youngseok ; Hwang Sihwan ; Jeong Hyeonjun ; Kum Dongsuk

摘要

近期在基于摄像头的3D目标检测方面的进展引入了跨模态知识蒸馏技术,以缩小与LiDAR 3D检测器之间的性能差距,利用LiDAR点云中的精确几何信息。然而,现有的跨模态知识蒸馏方法往往忽略了LiDAR固有的缺陷,例如对远处或被遮挡物体测量的模糊性,这些缺陷不应传递给图像检测器。为了解决LiDAR教师模型中的这些缺陷,我们提出了一种新颖的方法,该方法利用来自地面真值标签的无异方差不确定性(aleatoric uncertainty-free)特征。与传统的标签引导方法不同,我们近似教师模型头部的逆函数,从而有效地将标签输入嵌入到特征空间中。这种方法提供了额外的准确指导,与LiDAR教师模型一起提升了图像检测器的性能。此外,我们引入了特征分割技术,有效传递了教师模态的知识,同时保留了学生模态的独特特征,从而最大化了两种模态的潜力。实验结果表明,我们的方法相比基线模型提高了5.1个mAP点和4.9个NDS点,证明了该方法的有效性。代码可在以下链接获取:https://github.com/sanmin0312/LabelDistill


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供