MoTCoder：思考のモジュール化により大規模言語モデルを進化させ、困難なプログラミングタスクに挑む

大規模言語モデル（LLMs）は、単純なプログラミングタスクの処理において顕著な能力を示している。しかし、より困難なプログラミング課題に直面した場合には、その性能が著しく低下する傾向がある。我々の観察によると、従来のモデルはしばしば一括されたコードブロックとして解決策を生成するため、複雑な問題に対処する上でその有効性が制限されている。この課題を克服するために、本研究では「モジュール・オブ・シンキング・コーダー（MoTCoder）」を提案する。本研究では、タスクを論理的な部分タスクおよび部分モジュールに分解することを促進するためのMoT（Module-of-Thought）指令チューニングフレームワークを導入した。実験の結果、部分モジュールの育成と活用を通じて、MoTCoderは生成コードのモジュール性と正しさを顕著に向上させ、APPSではpass@1が5.9%、CodeContestsでは5.8%向上するという著しい改善を達成した。さらに、自己修正能力においても顕著な向上を示し、現在の最先端（SOTA）を3.3%上回った。また、問題の複雑さと最適なモジュール分解の関係について分析し、保守性指標（maintainability index）を評価した結果、MoTCoderによって生成されたコードは理解しやすく、変更しやすいことが確認された。これは長期的なコードの保守および進化において有益であると考えられる。本研究の実装コードは、https://github.com/dvlab-research/MoTCoder にて公開されている。