分散型大規模言語モデル推論フレームワークMesh LLMが、ピアツーピアネットワークライブラリirohを基盤として開発され、中心化クラウドへの依存脱却を目指す新たなAIインフラとしての役割を強めている。同プロジェクトは、企業が保有する余剰GPUメモリや計算リソースをネットワーク経由で統合し、単一のOpenAI互換APIとして公開する仕組みを提供する。これにより、利用者はプロンプト送信先のブラックボックス化や課金増加分によるコスト管理の難しさを回避し、モデルの更新時期やデータ処理場所に関する自律的な制御を実現できる。 技術的な中核は、irohが提供する認証付きQUICトランスポート層にある。中央サーバーを介さず、公開鍵ベースの直接通信によりNAT回避や中継フォールバックを自動処理する。特に大規模モデルの処理には分割モードが採用されており、モデル層を複数のノード間で分散させ、推論活性値をパイプライン形式で伝播させる。これにより、単一GPUでは収まらない大規模モデルでも、複数の軽量端末で協調実行が可能になる。内部プロトコルはALPNネゴシエーションに基づくQUICストリームで構成され、ノード能力の共有、推論プロキシ、経路最適化など、単一接続内で多重化されている。 アーキテクチャはプラグインベースで設計され、ローカル環境から235Bパラメータ規模のモデルまで40種以上のモデルカタログが標準搭載される。クライアントソフトウェアの容量は約18MBと軽量で、公共メッシュへの参加や企業内プライベートデプロイメントの両方に対応する。開発チームは今後、irohのSwift SDKを活用したモバイルアプリのリリースや、新興エージェント標準ACPに対応したクライアント統合を進める方針だ。 この取り組みは、AI推論インフラの分散化を推進し、開発者や企業にとって計算コストの最適化、データプライバシーの確保、ベンダーロックインの回避を実現する新規パスを提示する。irohはすでに実環境で検証済みであり、Mesh LLMはそのネットワーク層の上に構築された応用層として、今後拡大するP2P型AIエージェントエコシステムの基盤となる可能性がある。