既存の画像とテキストの合同埋め込み学習手法の多くは、ペアとなった画像とそのテキスト属性から得られる監督情報のみを使用しています。深層ニューラルネットワークにおける最近の非監督学習の成功を活用し、我々はより堅牢な多様性表現を異なる領域間で抽出できるエンドツーエンド学習フレームワークを提案します。提案手法では、表現学習モデル（例えば、オートエンコーダ）とクロスドメイン学習基準（例えば、最大平均分散損失 (Maximum Mean Discrepancy loss)）を組み合わせて、意味的特徴と視覚的特徴の合同埋め込みを学習します。また、ラベル付きデータとラベルなしデータの両方に対してより包括的な埋め込みを構築するため、新しい非監督データ適応推論技術を導入します。我々はAnimals with AttributesおよびCaltech-UCSD Birds 200-2011データセットを使用して、ゼロショット画像認識やファーソット画像認識など幅広い応用分野において方法を評価しました。実験結果から、我々のフレームワークが多くの考慮されたタスクにおいて現行の最先端技術を超えることを示しています。