HyperAIHyperAI

Command Palette

Search for a command to run...

基于Transformer的场景识别

junhyeong Cho*1 [email protected] Youngseok Yoon*1 [email protected] Hyeonjun Lee*2 [email protected] Suha Kwak1,2 [email protected]

摘要

地面情境识别(GSR)不仅对显著动作(动词)进行分类,还预测与语义角色相关的实体(名词)及其在给定图像中的位置。受Transformer在视觉任务中取得的显著成功启发,我们提出了一种基于Transformer编码器-解码器架构的GSR模型。该模型的注意力机制通过有效捕捉图像的高层次语义特征,实现了精确的动作分类,并且使模型能够灵活处理实体之间复杂且依赖于图像的关系,从而提高了名词分类和定位的准确性。我们的模型是首个应用于GSR的Transformer架构,在SWiG基准测试的每一项评估指标上均达到了当前最佳水平。我们的代码已发布在 https://github.com/jhcho99/gsrtr


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供