초록
최근, 연속적 표현과 이산적 표현 사이에서 새로운 표현 방식으로 이진 표현(binary representation)이 제안되었습니다. 이진 표현은 연속 입력 벡터를 대체할 때 상당한 정보 보존 능력을 나타냅니다. 본 논문에서는 이를 출력 측면에도 도입하는 가능성을 조사하여 모델이 이진 라벨을 출력하도록 하는 것을 목표로 합니다. 출력 측면의 구조적 정보와 라벨 정보를 함께 보존하기 위해, 우리는 기존의 대조 해싱(contrastive hashing) 방법을 구조적 대조 해싱(structured contrastive hashing)으로 확장하였습니다. 더욱 구체적으로, CKY를 라벨 수준에서 비트 수준으로 업그레이드하고, 스패닝 마르코프 확률(span marginal probabilities)을 사용한 새로운 유사성 함수를 정의하며, 신중하게 설계된 인스턴스 선택 전략을 포함하는 새로운 대조 손실 함수를 도입하였습니다. 우리의 모델은 다양한 구조적 예측 작업에서 경쟁력 있는 성능을 달성하였으며, 이진 표현이 딥러닝의 연속적인 특성과 자연어의 이산적인 내재적 특성을 더 가깝게 연결하는 새로운 표현 방식으로 고려될 수 있음을 입증하였습니다.