等変グラフニューラルネットワークフォースフィールド（EGraFF）は、原子系における複雑な相互作用をモデル化するために、グラフの内在的な対称性を活用することで大きな可能性を示しています。最近の研究では、等変性に基づく帰納的バイアスと、グラフトランスフォーマーやメッセージパッシングなどの建築的革新を組み合わせた新しいアーキテクチャの開発が急速に進んでいます。しかし、これらのEGraFFを現実的な原子シミュレーションの下流タスクに適用した詳細な評価が不足しています。この課題に対処するため、本研究では6つのEGraFFアルゴリズム（NequIP, Allegro, BOTNet, MACE, Equiformer, TorchMDNet）について系統的なベンチマーク評価を行いました。目的は、現実的な原子シミュレーションにおけるこれらの能力と限界を理解することです。既存の8つのデータセットに基づくベンチマーク文献での詳細な評価と分析に加えて、2つの新しいベンチマークデータセットを公開し、4つの新しい指標と3つの困難なタスクを提案しました。新しいデータセットとタスクは、異なる結晶構造、温度、新規分子に対するEGraFFの性能評価を行います。興味深いことに、動的シミュレーションに基づくEGraFFモデルの評価では、エネルギーまたは力の誤差が低いことが必ずしも安定した信頼性のあるシミュレーションや原子構造の忠実な再現を保証しないことが明らかになりました。さらに、どのモデルもすべてのデータセットとタスクで明確に他のモデルを超える性能を持つわけではないことがわかりました。特に重要なのは、すべてのモデルが分布外データセットでの性能が不安定であることを示しており、これは現実的なシミュレーションに使用できるフォースフィールド用の基礎モデルを開発する必要性を指摘しています。要するに、本研究は原子シミュレーションの文脈における機械学習フォースフィールドの評価に関する厳密なフレームワークを確立し、この分野内の未解決的研究課題への道筋を示しています。