15日前
rLLM:LLMを用いた関係表学習
Weichen Li, Xiaotong Huang, Jianwu Zheng, Zheng Wang, Chaokun Wang, Li Pan, Jianhua Li

要約
本稿では、大規模言語モデル(LLM)を用いた関係表学習(Relational Table Learning, RTL)を目的としたPyTorchライブラリ「rLLM(relationLLM)」を紹介する。rLLMの核心的なアイデアは、最先端のグラフニューラルネットワーク(GNN)、大規模言語モデル(LLM)、および表データ専用ニューラルネットワークを標準化されたモジュールに分解し、シンプルな「結合・整列・共同学習(combine, align, and co-train)」のアプローチにより、新しいタイプのRTLモデルを迅速かつ容易に構築できるようにすることにある。rLLMの実用例として、シンプルなRTL手法である\textbf{BRIDGE}を提案する。さらに、既存の代表的なデータセットを拡張することで、3つの新しい関係的表データセット(TML1M、TLF2K、TACM12K)を構築した。本研究では、rLLMがRTL関連のタスクにおける有用かつ使いやすい開発フレームワークとして活用されることを期待している。コードは以下のURLで公開されている:https://github.com/rllm-project/rllm。