Command Palette
Search for a command to run...
PolyLoss:分类损失函数的多项式扩展视角
PolyLoss:分类损失函数的多项式扩展视角
Zhaoqi Leng Mingxing Tan Chenxi Liu Ekin Dogus Cubuk Xiaojie Shi Shuyang Cheng Dragomir Anguelov
摘要
交叉熵损失(cross-entropy loss)和焦点损失(focal loss)是训练深度神经网络进行分类任务时最常用的损失函数。然而,从本质上讲,一个优秀的损失函数应具备更灵活的形式,并能够根据具体任务和数据集进行定制化设计。受泰勒展开(Taylor expansion)逼近函数思想的启发,我们提出了一种简洁的框架——PolyLoss,将损失函数视为多项式函数的线性组合,从而为损失函数的建模与设计提供新的视角。该框架允许根据目标任务和数据集的特点,灵活调整不同多项式基函数的权重,同时自然地将前述的交叉熵损失和焦点损失作为其特例包含在内。大量实验结果表明,PolyLoss中的最优损失形式确实依赖于具体任务与数据集。仅通过引入一个额外的超参数并添加一行代码,Poly-1形式的损失函数在二维图像分类、实例分割、目标检测以及三维目标检测等任务上均显著优于传统的交叉熵损失和焦点损失,部分场景下性能提升尤为显著。