北大和腾讯联手打造多模态15边形战士：语言纽带，跨越互联之界

北大&腾讯合作打造多模态15边形战士

近日，北大联合腾讯共同打造了一个多模态15边形战士，该项目以语言为核心，通过引入“LanguageBind”多模态预训练框架，实现了语言与视频、音频、深度、红外理解等多模态数据的有效对接。具体而言，研究人员使用语言作为各模态之间的纽带，通过固定语言编码器，并利用对比学习方法，将不同模态映射到一个共享的特征空间，从而实现多模态数据的语义对齐。

这一创新方法使得该模型在多个数据集上取得了显著进展，超越了现有的Imagebind模型。这一研究成果将有望为人工智能领域带来新的突破，引领未来发展方向。

原文链接：请点击北大&腾讯打造多模态15边形战士！语言作“纽带”，拳打脚踢各模态，超越Imagebind

联系方式

文章来源：量子位

作者微信：QbitAI

作者简介：专注于追踪人工智能新趋势，关注科技行业的创新突破。