要約
ニューラルプロセス（NPs）は、与えられたコンテキストデータセットに基づいて、未観測のデータポイントを確率的に補完することを目指している。NPsは本質的に、与えられたデータセットをコンテキスト表現として活用し、新たなタスクに適した識別子を導出する。予測精度の向上を図るため、多くのNPsの変種が、置換不変性（permutation invariant）を満たす新たなネットワークアーキテクチャおよび集約関数を設計するコンテキスト埋め込みアプローチを検討してきた。本研究では、NPsが適切なコンテキスト情報を捉えるための確率的アテンション機構を提案する。情報理論的観点から、提案手法がコンテキスト埋め込みがターゲットデータセットと区別されることを促進することを示した。これにより、NPsはターゲットデータセットの特徴とコンテキスト埋め込みを独立して考慮できるようになる。我々は、ノイズの多いデータセットやタスク分布が制限された状況下でも、提案手法が適切なコンテキスト埋め込みを捉えられることを確認した。これは、従来のNPsがコンテキスト埋め込みの不足に苦しむ状況に比べて顕著な改善である。実験的に、1次元回帰、捕食者-被捕食者モデル、画像補完という複数の領域において、本手法が従来のNPsを顕著に上回ることを示した。さらに、実世界の問題であるMovieLens-10kデータセットを用いた検証により、本手法の有効性が裏付けられた。