
深層学習における分類のため、2つの新しい損失関数を提案します。これらの2つの損失関数は、最小エントロピーとカルバック・レーバー(K-L)ダイバージェンス項を正則化項として標準的なクロスエントロピー損失に拡張しています。2つの新しい損失関数のうち、最初のものは混合エントロピー損失(MIX-ENTと略)と呼ばれ、2つ目は最小エントロピー正則化クロスエントロピー損失(MIN-ENTと略)と呼ばれます。MIX-ENT関数では、最小エントロピー項とK-Lダイバージェンス項の和に相当する正則化項が導入されています。ただし、ここでのK-Lダイバージェンス項は標準的なクロスエントロピー損失関数におけるものとは異なり、目標確率分布と仮説確率分布の役割が入れ替わっていることに注意が必要です。一方、MIN-ENT関数は単純に標準的なクロスエントロピー損失関数に最小エントロピー正則化項を加えています。MIX-ENTおよびMIN-ENTにおいて、最小エントロピー正則化項はニューラルネットワークによって出力される仮説確率分布のエントロピーを最小化します。EMNIST-Lettersデータセットでの実験結果によると、MIX-ENTおよびMIN-ENTを使用した私の実装によりVGGモデルはPapersWithCodeリーダーボードで以前の3位から2位へ上昇し、Spinal-VGGモデルを上回る性能を示しました。具体的には、標準的なクロスエントロピーを使用した場合、VGGモデルは95.86%の分類精度を達成し、Spinal-VGGモデルは95.88%の分類精度を達成しますが、MIN-ENTを使用したVGGモデル(Spinal-VGGなし)では95.933%の精度が得られました。また、MIX-ENTを使用した場合は95.927%の精度が得られました。両方のMIX-ENTおよびMIN-ENTに関する事前学習済みモデルは以下のURLから入手できます: https://github.com/rahmanoladi/minimum_entropy_project.