私たちは、無監督学習で事前学習された深層文脈埋め込みを活用する新しい多言語転移手法を提案します。文脈依存の埋め込みは、静的なものと比較して意味表現が豊かであることが示されていますが、その動的な性質によりアライメントを行うことが困難です。この課題に対処するために、元の単一言語空間の文脈非依存バリアントを構築し、それらのマッピングを利用して文脈依存空間のアライメントを導出します。このマッピングはターゲット言語の処理を容易にし、文脈に応じた埋め込みによる転移性能を向上させます。実験結果は、この手法がゼロショットおよびファウショット学習における従属関係解析において有効であることを示しています。特に、私たちの手法は6つのテスト言語すべてで従来の最先端技術を一貫して上回り、平均的に6.8ポイントのLAS（Labeled Attachment Score）改善を達成しました。