Command Palette
Search for a command to run...
情報最大化自己増強学習を用いた離散表現の学習
情報最大化自己増強学習を用いた離散表現の学習
Weihua Hu Takeru Miyato Seiya Tokui Eiichi Matsumoto Masashi Sugiyama
概要
データの離散表現を学習することは、その表現のコンパクトさと解釈の容易さから、機械学習における中心的な課題となっています。この課題にはクラスタリングとハッシュ学習が特別なケースとして含まれます。深層ニューラルネットワークは、データの非線形性をモデル化し、大規模データセットにスケールできるため、有望な手法として注目されています。しかし、それらのモデル複雑度は非常に高く、有用な表現を学習するために目的とする不変性を示すために、ネットワークを慎重に正則化する必要があります。この目的のために、我々は情報最大化自己拡張訓練(Information Maximizing Self-Augmented Training: IMSAT)という方法を提案します。IMSATでは、データ拡張を使用して離散表現に不変性を課します。具体的には、拡張されたデータポイントの予測表現が元のデータポイントの表現に近くなるように端から端まで(end-to-end)促します。同時に、情報理論に基づくデータとその予測離散表現間の依存関係を最大化します。ベンチマークデータセットでの広範な実験により、IMSATがクラスタリングおよび教師なしハッシュ学習において最先端の結果を生み出すことが示されました。