ウェブ検索や質問応答などの情報検索アプリケーションをより効果的に支援するため、検索指向の言語モデルの開発に向けた取り組みが増加している。現存する多くの研究は、[CLS]トークンの文脈依存埋め込み（contextualized embedding）における意味表現能力の向上に注力している。しかし、最近の研究では、[CLS]以外の通常トークン（ordinary tokens）も追加の情報を提供する可能性があり、それによりより優れた表現効果が得られることを示唆している。このため、[CLS]トークンに限らず、すべての文脈依存埋め込みを統合的に事前学習することで、検索タスクに適したモデルを構築する必要がある。この動機から、我々は新たな事前学習手法「ダプルックス・マスクド自己符号化器（Duplex Masked Auto-Encoder）」、略してDupMAEを提案する。本手法は、[CLS]トークンおよび通常トークンの両方の文脈依存埋め込みにおける意味表現能力の強化を目的としている。DupMAEは、2つの復元タスクを導入する。1つ目は、[CLS]埋め込みに基づいて元の入力文を再構成するタスクであり、2つ目は、すべての通常トークンの埋め込みに基づいて入力文の「単語袋（bag-of-words, BoW）」損失を最小化するタスクである。これらの2つの復元損失を統合し、一つの統合的な符号化モデルを学習する。その後、[CLS]トークンと通常トークンの埋め込みを次元削減および集約処理した後、連結して入力文の統一された意味表現として利用する。DupMAEは構造的に簡潔でありながら、実証的に高い競争力を持つ。わずかな復元コストで、モデルの表現能力および転移性能を顕著に向上させ、MS MARCOおよびBEIRベンチマークにおいて著しい性能向上が確認された。