NeurIPS 2023｜美图&国科大基于文生图模型提出新方法EI² 有效提升视频编辑一致性

本文介绍了美图影像研究院（MT Lab）与中国科学院大学合作提出的基于文生图模型的视频生成新方法EI²，旨在提高视频编辑过程中的语义和内容一致性。文章指出现有视频编辑过程中存在的不一致性问题，主要由引入的时序信息学习模块导致特征空间的协变量偏移，针对此问题设计了新的网络模块以生成高质量的编辑结果。该论文已被人工智能领域顶级会议NeurIPS 2023接收。

随着生成式人工智能在视觉合成任务中的广泛应用，视频拥有更为丰富的动态变化和语义信息，对于提升视频编辑的一致性提出了挑战。传统方法主要基于VAE和GAN，然而往往受限于特定场景和数据，难以提供通用解决方案。近年来，扩散模型在分布式学习中展现出卓越的能力，开始在视频领域受到关注，并展示了在视频生成与编辑任务中的潜力。

通过直接训练文本-视频数据集以构建文生视频模型，基于扩散模型的视频生成和编辑任务在初期研究中取得了进展。该研究为视频编辑领域带来了新的思路和方法，有望为解决现有挑战提供有效解决方案。原文链接：NeurIPS 2023｜有效提高视频编辑一致性，美图&国科大提出基于文生图模型新方法EI²。