Daniel P. W. Ellis Eduardo Fonseca Ron J. Weiss Kevin Wilson Scott Wisdom et al

要約

現実世界の複雑な音響シーンの編集は、個々の音源が時間的に重なり合うため困難である。生成モデルは、データドメインに関する強力な事前知識をもとに、欠落または破損した詳細を補完できる。本研究では、テキストによる編集指示（例：「ドアの音を強調」）および「イベントロール」と呼ばれる転写から得られるイベントの時間的配置のグラフィカルな表現に基づき、複雑なシーン内の個々の音響イベントの削除、挿入、強調を可能にするシステムを提案する。本システムは、SoundStream表現を扱うエンコーダデコーダ型Transformerアーキテクチャを採用しており、孤立した音源を密度の高い現実世界の背景に合成することで生成された（入力、期待される出力）音声ペアを用いて学習している。評価結果から、編集指示の各要素（操作、カテゴリ、タイミング）の重要性が明らかになった。本研究は、「再構成（recomposition）」が重要な実用的応用であることを示している。