Amazon EMR上でApache SparkのワークロードをGPUにスケールして移行するための新ツール「Project Aether」が登場した。従来のCPUベースのSpark処理は処理速度が遅く、大規模なインフラと高額なクラウドコストを要する課題があり、GPUを活用したSpark処理が効率化の鍵とされている。Project AetherはNVIDIAが開発した自動化ツールで、既存のCPUクラスタで動作するSparkジョブを、RAPIDS Acceleratorを活用したGPU対応EMR環境に移行・最適化するプロセスを簡素化する。 このツールは4段階の自動化プロセスで構成される。まず「予測」フェーズでは、CPUの実行ログから機械学習モデル（XGBoost）を用いてGPU移行の可能性とスピードアップの見込みを評価。次に「最適化」フェーズでは、GPUクラスタ上でジョブを実行し、実行ログを分析してSpark設定を繰り返しチューニング。その後「検証」フェーズでGPU版の出力結果が元のCPU版と一致するかをデータ整合性チェック。最後に「移行」フェーズでは、各ジョブの履歴データをもとに最適なGPU設定とSpark構成をレポートとして提供。 Aether CLIを用いることで、クラスタ作成、ジョブ実行、プロファイリング、チューニングを連続的に実行可能。特に大規模な移行プロジェクトでは、手動での調整を大幅に削減し、開発時間とコストを削減できる。また、UIとCLIの両方でレポートを確認でき、移行後のパフォーマンスとコスト効率を可視化できる。 Project Aetherは、GPUによる大規模データ処理の実現を加速し、企業のデータ戦略の効率化を支援する。本ツールは現時点で限定公開中で、アクセスは事前申請制。Rapids Acceleratorの詳細については公式ドキュメントを参照可能。