NeurIPS 2023｜美图&国科大提出基于文生图模型的新视频编辑一致性方法 EI2

欢迎阅读AIGC动态

原标题：NeurIPS 2023｜有效提高视频编辑的一致性！美图&国科大联合提出基于文生图模型的新方法EI2
关键词：时序, 模块, 模型, 语义, 视频
文章来源：AI科技评论
字数：5815字

内容摘要：

美图影像研究院（MT Lab）与中国科学院大学颠覆性地提出了基于文生图模型的新视频生成方法EI2，旨在提高视频编辑过程中语义与内容的一致性。
该论文从理论角度分析和论证了视频编辑不一致性的问题，主要是由于引入时序信息学习模块导致特征空间出现协变量偏移所致。为此，他们针对性地设计了新的网络模块以解决这一问题，从而实现生成高质量的编辑结果。目前，该论文已被机器学习顶级会议NeurIPS 2023接受。作为目前备受关注的前沿技术之一，生成式人工智能广泛应用于各种视觉合成任务，尤其在图像生成和编辑领域取得了惊人的效果。
与静态图像相比，视频具有更丰富的动态变化和语义信息。然而，现有的视觉生成任务主要基于变分自编码器（VAE）和生成对抗网络（GAN），往往受限于特定场景和数据，难以提供通用的解决方案。
因此，近年来，基于扩散模型在分布式学习方面表现卓越，扩散模型也开始向视频领域拓展，在视频生成和编辑方面展现出巨大潜力。
最初阶段的基于扩散模型的视频生成与编辑任务利用文本-视频数据集直接训练文生视频模型以实现目标。然而，由于缺乏高质量视频数据，这类任务

原文链接：NeurIPS 2023｜有效提高视频编辑一致性！美图&国科大联合提出基于文生图模型的新方法 EI2

联系作者

文章来源：AI科技评论
作者微信：aitechtalk
作者简介：雷峰网旗下AI新媒体。关注AI前沿研究，AI工程实践。