HyperAIHyperAI

Command Palette

Search for a command to run...

情報最大化自己増強学習を用いた離散表現の学習

Weihua Hu Takeru Miyato Seiya Tokui Eiichi Matsumoto Masashi Sugiyama

概要

データの離散表現を学習することは、その表現のコンパクトさと解釈の容易さから、機械学習における中心的な課題となっています。この課題にはクラスタリングとハッシュ学習が特別なケースとして含まれます。深層ニューラルネットワークは、データの非線形性をモデル化し、大規模データセットにスケールできるため、有望な手法として注目されています。しかし、それらのモデル複雑度は非常に高く、有用な表現を学習するために目的とする不変性を示すために、ネットワークを慎重に正則化する必要があります。この目的のために、我々は情報最大化自己拡張訓練(Information Maximizing Self-Augmented Training: IMSAT)という方法を提案します。IMSATでは、データ拡張を使用して離散表現に不変性を課します。具体的には、拡張されたデータポイントの予測表現が元のデータポイントの表現に近くなるように端から端まで(end-to-end)促します。同時に、情報理論に基づくデータとその予測離散表現間の依存関係を最大化します。ベンチマークデータセットでの広範な実験により、IMSATがクラスタリングおよび教師なしハッシュ学習において最先端の結果を生み出すことが示されました。


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています