PixelDiT2が画素単位でAI画像生成を制御

ルー教授率いるロチェスター大学とエヌビディアは、現在の多くの人工知能画像生成器が概念を圧縮した潜在空間で画像を作るため、小さな修正でも関連しない部分が崩れる制御性の低さを課題と捉えた。そこで研究チームは、画素単位で画像を処理する画素空間拡散モデルを開発し、画像認識国際会議で「画素ディット」を発表した。この方式では、人物の眼鏡や車の色など指定した部分だけを修正でき、生成画像の局所操作が可能になる。その後、同チームは画素空間での演算効率を高めた「画素ディット2」を開発し、最先端の潜在空間型にほぼ匹敵する性能と、画素単位での制御性を両立した。関連成果は12月の機械学習国際会議で発表予定で、研究予稿も公開されている。さらに同チームは、動画生成への応用も視野に入れる。動画ではフレーム間のなめらかな移行と膨大なデータの扱いが課題だが、画素ディット2で得られた画素単位の制御技術により、生成動画のより細かな調整が可能になると見込んでいる。