2 个月前

PyTorch Frame:一种用于多模态表格学习的模块化框架

Weihua Hu; Yiwen Yuan; Zecheng Zhang; Akihiro Nitta; Kaidi Cao; Vid Kocijan; Jinu Sunil; Jure Leskovec; Matthias Fey
PyTorch Frame:一种用于多模态表格学习的模块化框架
摘要

我们介绍了PyTorch Frame,这是一个基于PyTorch的框架,用于处理多模态表格数据的深度学习。PyTorch Frame通过提供一个基于PyTorch的数据结构来处理复杂的表格数据,引入模型抽象以实现表格模型的模块化实施,并允许外部基础模型(例如,大型语言模型(LLMs)用于文本列)的集成,从而简化了表格深度学习的过程。我们通过以模块化方式实现多种表格模型,成功将其应用于复杂的多模态表格数据,并将我们的框架与PyTorch Geometric(一个用于图神经网络(GNNs)的PyTorch库)集成,实现了在关系数据库上的端到端学习,展示了PyTorch Frame的实用性。