DeepMind发布高效的小规模多模态解决方案Mirasol 3B

《AIGC动态欢迎阅读》

原标题：规模小、效率高：DeepMind推出多模态解决方案Mirasol 3B

关键字：视频，模型，音频，组件，表征

文章来源：机器之心

内容字数：3607字

摘要：机器之心报道了机器之心编辑部进行的性能优于规模更大的模型的研究。多模态学习面临的主要挑战之一是需要融合文本、音频、视频等异构的模态。多模态模型需要组合不同来源的信号。然而，这些模态具有不同的特征，很难通过单一模型来组合。例如，视频和文本具有不同的采样率。最近，来自Google DeepMind的研究团队将多模态模型解耦成多个专门的自回归模型，根据各种模态的特征来处理输入。具体来说，该研究提出了多模态模型Mirasol3B。Mirasol3B由时间同步模态（音频和视频）自回归组件，以及用于上下文模态的自回归组件组成。这些模态不一定在时间上对齐，但是按顺序排列的。论文链接：https://arxiv.org/abs/2311.05698。Mirasol3B在多模态基准测试中达到了最先进水平，优于规模更大的模型。通过学习更紧凑的表征，控制音频-视频特征表征的序列长度，并根据时间对应关系…

原文链接：规模小、效率高：DeepMind推出多模态解决方案Mirasol 3B

《联系作者》

文章来源：机器之心

作者微信：almosthuman2014

作者简介：专业的人工智能媒体和产业服务平台