HyperAIHyperAI

Command Palette

Search for a command to run...

BertGCN:通过结合GCN与BERT实现归纳式文本分类

Yuxiao Lin Yuxian Meng Xiaofei Sun Qinghong Han Kun Kuang Jiwei Li Fei Wu

摘要

在本工作中,我们提出了一种名为BertGCN的模型,该模型将大规模预训练与归纳式学习相结合,用于文本分类任务。BertGCN在数据集上构建了一个异构图结构,并利用BERT的表示将文档建模为图中的节点。通过在BertGCN框架内联合训练BERT模块与图卷积网络(GCN)模块,该模型能够融合两者的优点:一方面利用大规模预训练所具备的对海量原始数据的建模能力,另一方面通过图卷积传播标签信息,实现对训练数据与未标记测试数据的联合表示学习,即归纳式学习。实验结果表明,BertGCN在多个文本分类数据集上均取得了当前最优(SOTA)的性能表现。代码已开源,可通过 https://github.com/ZeroRin/BertGCN 获取。


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供