11일 전

MEIM: 블록 용어 형식을 넘어서는 다중 분할 임베딩 상호작용을 통한 효율적이고 표현력 있는 링크 예측

Hung Nghiep Tran, Atsuhiro Takasu
MEIM: 블록 용어 형식을 넘어서는 다중 분할 임베딩 상호작용을 통한 효율적이고 표현력 있는 링크 예측
초록

지식 그래프 임베딩은 지식 그래프 내 엔티티 간의 누락된 관계를 예측하는 것을 목표로 한다. 텐서 분해 기반 모델, 예를 들어 ComplEx와 같은 모델들은 효율성과 표현력 사이의 우수한 균형을 제공하며, 현실 세계의 지식 그래프가 대규모임을 감안할 때 매우 중요한 특징이다. 최근 제안된 다중 분할 임베딩 상호작용(Multi-partition Embedding Interaction, MEI) 모델은 블록 텐서 형식을 사용함으로써 이러한 텐서 분해 기반 모델들을 포괄하며, 이 균형에 대한 체계적인 해결책을 제시한다. 그러나 MEI는 그 기반 모델에서 유래한 몇 가지 단점들을 내포하고 있다. 본 논문에서는 이러한 단점을 해결하고, 블록 텐서 형식을 초월한 다중 분할 임베딩 상호작용 개선 모델(Multi-partition Embedding Interaction iMproved beyond block term format, MEIM)을 제안한다. MEIM은 앙상블 효과를 위한 독립적인 코어 텐서와 최대 랭크 매핑을 위한 소프트 직교성 조건을 다중 분할 임베딩과 함께 도입한다. 이로 인해 MEIM은 여전히 높은 효율성을 유지하면서도 표현력을 향상시켜, 비교적 작은 임베딩 크기로도 어려운 링크 예측 벤치마크에서 강력한 기준 모델들을 능가하고 최첨단 성능을 달성할 수 있다. 소스 코드는 https://github.com/tranhungnghiep/MEIM-KGE 에 공개되어 있다.

MEIM: 블록 용어 형식을 넘어서는 다중 분할 임베딩 상호작용을 통한 효율적이고 표현력 있는 링크 예측 | 최신 연구 논문 | HyperAI초신경