Adobe Firefly 新增视频生成音效功能：创意专业人士的新利器

Adobe 最新的生成式人工智能产品 Firefly 再次迎来重大升级，这一系列新功能不仅增强了视频生成功能，还首次引入了音频生成。自从大约一年半前首次发布以来，Firefly 已经从文字到图像生成，发展到现在能够处理更为复杂的多模态任务，包括文字到视频生成。最近的这次更新中，最引人注目的功能是“生成音效”（Generate Sound Effects），这项功能处于测试阶段，允许用户通过输入描述性的文本来生成自定义音效。 生成音效（Generate Sound Effects） 用户可以通过简单地插入一段描述所需音效的文本，来创造符合视频场景的音效。例如，如果你需要为一个狮子开口闭口的场景生成音效，你可以先观看视频，录制一段自己模仿狮子吼叫的声音，再配合文本提示输入系统，Firefly 将会生成多个音效选项供选择。这项功能提供了极高的灵活性和精确性，使得生成的音效能够完美匹配视频的动作和氛围。在发布前的一个演示环节中，生成的音频效果非常接近实际需求，尽管示例者尽力模仿狮子吼声，但最终的合成音效仍然令人印象深刻。 文本转虚拟角色（Text to Avatar） 另一项重要更新是“文本转虚拟角色”（Text to Avatar）功能，该功能同样处于测试阶段。用户可以将文本脚本转换为由虚拟角色呈现的视频，类似于真人阅读的内容。在选择虚拟角色时，用户可以从预设库中挑选，并定制背景和装饰元素，从而创造出符合特定需求的视频。这一功能的应用范围广泛，包括制作互动教育视频、社会媒体上的文章视频化等。 其他视频改进功能 视频构图参考（Composition Reference for Video）：用户可以上传参考视频，并将其构图应用到新生成的视频中，这样即使prompt描述不够详细，模型也能更准确地理解用户的需求。 样式预设（Style Presets）：通过简单的预设选择，用户可以轻松应用不同的视觉风格，如黏土动画、动漫、线图、矢量图、黑白等。 增强Prompt（Enhance Prompt）：此功能帮助用户通过增加描述的语言，使生成的视频更加符合预期。 关键帧裁剪（Keyframe Cropping）：用户可以上传视频的首尾帧，指定裁剪方式，并添加场景描述，从而生成符合要求的视频。 提高视频运动流畅度（Motion Fidelity Improvement）：这一改进使得生成的视频动作更加自然流畅，特别适用于动物、人类和自然场景的视频制作。 模型扩展 除了这些新功能，Adobe 还继续扩展其视频生成模型库，增加了更多市场上的知名模型。例如，Topaz 的图像和视频放大器以及 Moonvalley 的 Marey 被添加到 Firefly Boards 中，而 Luma AI 的 Ray 2 和 Pika 2.2 则被加入到 Generate Video 模块。 业内评价与公司背景 此次 Firefly 的更新被视为对创意专业人士的一大福音。Adobe 作为全球知名的创意软件公司，其产品一向注重用户体验和技术前沿。这次更新不仅加强了 Firefly 的视频生成功能，还填补了音频生成这一领域的重要空白。许多业内人士认为，Adobe 正在通过不断的创新，巩固其在生成式人工智能市场的领导地位。随着这些新功能的推出，Adobe Firefly 在竞品中的优势将进一步凸显，吸引了更多创作者的关注和使用。