深層クラスタリング：識別モデルとK-meansの関連性について

最近の深層クラスタリング研究において、識別モデルが文献を主導し、最も競争力のある性能を報告しています。これらのモデルは、ラベルが潜在的な深層識別ニューラルネットワーク分類器を学習します。一般的には、多項ロジスティック回帰の事後確率とパラメータ正則化を使用しており、これは教師あり学習で非常に一般的です。識別的目標関数（例えば、相互情報量やKLダイバージェンスに基づくもの）は、生成モデル（例えば、K-means）よりも柔軟であると一般的に認識されています。これはデータ分布についてより少ない仮定を行うためであり、通常は優れた非教師あり深層学習結果をもたらします。一見すると、いくつかの最近の識別モデルはK-meansとは無関係に見えるかもしれませんが、本研究ではこれらのモデルが軽微な条件と一般的な事後モデルおよびパラメータ正則化のもとでK-meansに等しいことを示しています。我々は、一般的に使用されるロジスティック回帰の事後確率について、近似交代方向法（ADM: Alternating Direction Method）を用いて$L_2$正則化された相互情報を最大化することは、ソフトかつ正則化されたK-means損失に等しいことを証明しました。この理論的解析は、直接複数の最近の最先端識別モデルをK-meansと結びつけるだけでなく、新しいソフトかつ正則化された深層K-meansアルゴリズムにもつながり、そのアルゴリズムはいくつかの画像クラスタリングベンチマークで競争力のある性能を発揮します。