NVIDIA、RDMA搭載S3互換ストレージでAI用ストレージ性能を飛躍的に向上
AIワークロードの急速な拡大に伴い、データ量の増加と高性能なストレージの必要性が高まっている。2028年までに企業が年間生成するデータは約400ゼタバイトに達し、その90%が音声、動画、画像、PDFなど非構造化データとなる見込みだ。このような規模の中で、オンプレミスとクラウド間でのデータのやり取りを可能にするため、従来のオブジェクトストレージに新たな高速化技術が求められている。 その解決策として注目されているのが、「RDMAを搭載したS3互換ストレージ」だ。これは、遠隔直接メモリアクセス(RDMA)技術を活用し、S3-APIベースのストレージプロトコルを高速化する仕組み。従来のTCPプロトコルに比べ、ストレージ1TBあたりのスループット向上、消費電力あたりの性能向上、コスト削減、そして大幅なレイテンシ低下を実現する。 NVIDIAが開発したRDMA用クライアント・サーバーライブラリは、AIGPUコンピュートノード上で動作し、S3-APIベースのオブジェクトストレージへのアクセスを飛躍的に高速化。これにより、複数GPUが同時にデータを読み書きするAIトレーニング環境において、GPUの稼働率が向上し、全体のワークロード性能が改善される。 この技術はNVIDIAGPUに最適化されているが、アーキテクチャ自体はオープンであり、他のベンダーやユーザーがライブラリをカスタマイズ・統合できる仕組みとなっている。標準化に向けて、NVIDIAはCloudian、Dell Technologies、HPEといった主要ストレージベンダーと協業。Cloudian HyperStore、Dell ObjectScale、HPE Alletra Storage MP X10000といった製品にRDMA機能を搭載し、AI向けの高性能かつスケーラブルなストレージ基盤を提供している。 各社の役員は、「AIのデータ管理はオブジェクトストレージが未来である」「AIファクトリーの拡張とデータポータビリティを実現する」と強調。RDMAによる高速化は、既存のS3互換アプリケーションとのシームレスな統合も可能にし、オンプレミスからクラウドまで一貫した性能を実現する。 NVIDIAのRDMAライブラリは一部パートナー向けに提供中で、2024年1月にNVIDIA CUDA Toolkitを通じて一般提供予定。また、NVIDIA-Certified Storageプログラムの一環として、新たな「NVIDIAオブジェクトストレージ認証」も導入される。AIの次世代ストレージ基盤の整備が、今まさに進んでいる。
