全新千亿级大型模型正式发布，完全开源！

AIGC动态欢迎阅读

近日，浪潮信息发布了“源2.0”基础大模型的消息，并宣布该模型全面开源。这一基础大模型涵盖了1026亿、518亿和21亿三种不同规模的参数模型，展现了在编程、推理和逻辑等方面的先进能力。当前，大模型技术正迅速推动生成式人工智能产业的快速发展，而基础大模型的关键能力则是支撑大模型在各行业和应用领域的落地。然而，基础大模型的发展也面临着来自算法、数据和计算能力等多方面的挑战。在这一背景下，“源2.0”基础大模型提出并采用了新的改进方法，取得了能力提升。

在算法方面，源2.0引入了一种名为“局部注意力过滤增强机制”（LFA：Localized Filtering-based Attention）的新型注意力算法结构。该机制首先学习相邻词之间的关联性，然后再计算全局关联性，使模型能够更好地理解自然语言的局部和全局语言特征，从而使自然语言的关联语义理解更加准确和人性化，提升了模型的自然语言表达能力。

可点击此处阅读完整原文。

联系作者

文章来源：夕小瑶科技说

作者微信：xixiaoyaoQAQ

作者简介：夕小瑶科技说汇集了来自清华北大、国外顶级AI实验室和互联网大厂的25万名AI应用开发者、算法工程师和研究人员。旨在提供更快速的人工智能前沿资讯和更深入的行业洞察，兼具媒体敏感度和技术深度。