HyperAIHyperAI

Command Palette

Search for a command to run...

连续还是离散,这些都是问题的一部分。

Yiran Wang Masao Utiyama

摘要

近日,二进制表示被提出作为一种介于连续表示和离散表示之间的新型表示方法。当用于替代连续输入向量时,它表现出显著的信息保留能力。在本文中,我们探讨了将其进一步引入输出端的可行性,目标是使模型能够输出二进制标签。为了在输出端保留结构信息以及标签信息,我们将先前的对比哈希方法扩展为结构化对比哈希(structured contrastive hashing)。具体而言,我们将CKY从标签级提升到比特级,定义了一种新的基于跨度边缘概率的相似度函数,并引入了一种具有精心设计实例选择策略的新对比损失函数。我们的模型在各种结构预测任务上取得了具有竞争力的性能,并证明了二进制表示可以被视为一种新型表示方法,进一步弥合了深度学习的连续性质与自然语言的离散内在属性之间的差距。


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供