HoTPP 벤치마크: 우리는 장기 예측 이벤트 예측에서 충분히 잘하고 있는가?

주어진 시간 범위 내에서 여러 미래 사건을 예측하는 것은 금융, 소매, 소셜 네트워크, 헬스케어 등 다양한 분야에서 필수적인 과제이다. 표시된 시간 포인트 과정(Marked Temporal Point Processes, MTPP)은 사건의 발생 시점과 레이블을 동시에 모델링할 수 있는 체계적인 프레임워크를 제공한다. 그러나 기존 연구 대부분은 단지 다음 사건만 예측하는 데 집중되어 있어, 장기 예측에 대한 탐색은 여전히 미비한 상태이다. 이러한 격차를 보완하기 위해, 우리는 장기 예측을 철저히 평가할 수 있도록 특별히 설계된 최초의 벤치마크인 HoTPP를 제안한다. 우리는 널리 사용되는 평가 지표의 한계를 식별하고, 이론적으로 타당한 T-mAP 지표를 제안하며, 강력한 통계적 베이스라인을 제시하고, 대표적인 모델들의 효율적인 구현 방법을 제공한다. 실험 결과에 따르면, 현대적인 MTPP 접근 방식은 종종 단순한 통계적 베이스라인보다 성능이 낮음을 확인하였다. 또한 예측된 시퀀스의 다양성을 분석한 결과, 대부분의 방법이 모드 붕괴(mode collapse) 현상을 보이고 있음을 발견하였다. 마지막으로, 자기회귀(auto-regression)와 강도 기반 손실(intensity-based loss)이 예측 정확도에 미치는 영향을 분석하고, 향후 연구를 위한 유망한 방향성을 제시한다. HoTPP의 소스 코드, 하이퍼파라미터 및 완전한 평가 결과는 GitHub에서 공개되어 있다.