17 天前
将虚拟助手所接收消息的视角进行转换
Isabelle G. Lee, Vera Zu, Sai Srujana Buddi, Dennis Liang, Purva Kulkarni, Jack G.M. Fitzgerald

摘要
虚拟助手在某些情况下可能表现得过于字面化。例如,当用户说“告诉鲍勃我喜欢他”时,大多数虚拟助手会提取出“我喜欢他”这一信息,并将其发送给名为鲍勃的联系人,而未能正确将语义转换为“我喜欢你”。为此,我们设计了一套系统,使虚拟助手能够接收来自用户的语音消息,将其视角进行转换,再将处理后的结果传达给目标用户。我们开发了一个基于规则的模型,该模型融合了线性文本分类、词性标注(part-of-speech tagging)和成分句法分析(constituency parsing),并结合基于规则的转换方法。此外,我们还探索了神经机器翻译(Neural Machine Translation, NMT)技术,包括LSTM、CopyNet和T5等模型。为了自动评估生成结果的自然度与忠实度,我们研究了五种评估指标。最终选择使用BLEU和METEOR作为忠实度的评估指标,而自然度则采用基于独立训练语言模型(GPT)的相对困惑度(relative perplexity)进行衡量。在忠实度方面,Transformer-CopyNet与T5表现相近,其中T5略胜一筹,达到BLEU分数63.8和METEOR分数83.0。在自然度方面,CopyNet表现最佳,相对困惑度为1.59。此外,CopyNet的参数量仅为T5的约1/37,显著更轻量。我们已将该研究的数据集公开发布,该数据集包含46,565条众包获取的样本,可供后续研究使用。