
今日利用できる世界に関する構造化データ(例:Wikidata)と非構造化データは、明日の人工知能にとって驚異的な機会を提供しています。これまで、これらの2つの異なるモダリティを統合することは、情報の最適な表現方法や大量のデータを手動でラベリングするといった多くの決定を必要とする難易度の高いプロセスでした。DeepTypeは、この課題を克服するために、ニューラルネットワークの推論プロセスにシンボリック情報を明示的に統合するタイプシステムを導入します。まず、タイプシステムを構築し、次にそれを用いてニューラルネットワークの出力をシンボリック構造に従って制約付けます。私たちはこの設計問題を混合整数問題に再定式化することでこれを達成します:タイプシステムを作成し、その後そのタイプシステムを使用してニューラルネットワークを訓練します。この再定式化では、離散変数がオントロジー内の親子関係を選択してタイプシステム内のタイプとして定義し、連続変数がタイプシステムに適合した分類器のパラメータを制御します。元の問題は厳密には解くことができないため、私たちは2段階アルゴリズムを提案します:1) オラクルと学習可能性ヒューリスティックによって情報が与えられた離散変数で定義されるタイプシステムに対する探索法的検索または確率的最適化、2) 分類器パラメータへの適合のために勾配降下法を使用します。私たちはDeepTypeを3つの標準的なデータセット(WikiDisamb30, CoNLL (YAGO), TAC KBP 2010)におけるエンティティリンク問題に適用し、既存のすべてのソリューションに対して大幅な性能向上が見られることを確認しました。これは人間によって設計されたタイプシステムや最近の深層学習ベースのエンティティ埋め込みに依存するアプローチも含みます。また、シンボリック情報を明示的に使用することで新しいエンティティを取り込む際に再訓練を行うことなく統合できます。