ニューラルネットワークへの事前知識の組み込み：インプリシット合成カーネルを用いた手法

ニューラルネットワーク（NN）の学習に事前知識を導入することは困難である。一方、空間的な滑らかさや季節性といった多くの既知の性質は、適切なカーネルをガウス過程（GP）に選定することで容易にモデル化できる。このような既知の性質をモデル化することにより、多くのディープラーニング応用が改善される可能性がある。例えば、リモートセンシング分野では、強固な季節的影響が存在するため、畳み込みニューラルネットワーク（CNN）が頻繁に用いられている。本研究では、ディープラーニングの強みとGPの明確なモデル化能力を統合するため、ニューラルネットワークによって暗黙的に定義されるカーネルと、既知の性質（例：季節性）をモデル化する目的で選ばれた第二のカーネル関数を組み合わせた複合カーネルを提案する。このアイデアを実現するために、深層ネットワークとNyström近似に基づく効率的な写像を組み合わせ、Implicit Composite Kernel（ICK）と呼ぶ手法を構築した。さらに、完全なGP事後分布を近似するために「サンプルして最適化する（sample-then-optimize）」アプローチを採用した。実験の結果、ICKは合成データおよび実世界データの両方で優れた性能と高い柔軟性を示した。本研究では、ICKフレームワークが、さまざまな応用においてニューラルネットワークに事前情報を組み込むための有効な手段となり得ると確信している。