腾讯公布最新大型模型训练方法：提升效率至 2.6 倍，降低 50% 算力成本

AIGC动态欢迎阅读

原标题：腾讯披露最新大模型训练方法：效率提升至 2.6 倍、可节省 50% 算力成本

关键字：腾讯, 模型, 报告, 框架, 能力

文章来源：AI前线

内容字数：3133字

内容摘要：当前，大模型的参数规模呈现指数级增长。在算力紧缺的情况下，如何提高大模型的训练和推理效率，并降低成本，成为业内关注的焦点。腾讯于11月23日披露，他们自主研发的机器学习框架Angel，进一步升级，使大模型的训练效率提高至主流开源框架的2.6倍，千亿级大模型的训练成本可节省50%算力成本。此次升级后的Angel支持单任务万卡级别的超大规模训练，进一步提升了腾讯云HCC大模型专属算力集群的性能和效率。针对大型模型训练，如何进一步提高训练推理效率，腾讯自主研发了机器学习训练框架AngelPTM，针对预训练、模型微调和强化学习等全流程进行加速和优化：在存储方面，AngelPTM计算支持多维并行，包括常见的数据并行、模型并行、流水线并行和序列并行。此外，腾讯在ZeRO-Cache的基础上融入了统一视角技术，通过统一的地址寻址方式连接显存和主存，训练时将大量参数优先放入系统…

原文链接：点击阅读原文：腾讯披露最新大模型训练方法：效率提升至2.6倍、可节省50%算力成本

联系作者

文章来源：AI前线

作者微信：ai-front

作者简介：专为AI爱好者、开发者和科学家提供AI领域技术资讯、一线业界实践案例、搜罗整理业界技术分享干货、AI论文解读。每周举办一次技术分享公开课，助力您全面掌握人工智能技术。