Megatron-LLaMA：开源大模型训练框架，训练速度提升至32卡176%

欢迎阅读AIGC动态

原标题：Megatron-LLaMA开源，32卡训练加速176%

关键词：梯度、模型、参数、切分、通信

文章来源：机器之心

内容字数：8394字

内容摘要：淘天集团联合爱橙科技在9月12日对外开源大模型训练框架Megatron-LLaMA，旨在帮助技术开发者提升大语言模型训练性能、降低成本，并保持LLaMA社区兼容性。测试显示，与HuggingFace上的代码版本相比，在32卡训练上，Megatron-LLaMA可实现176%的加速；在大规模训练中，Megat…

原文链接：32卡176%训练加速，开源大模型训练框架Megatron-LLaMA来了

联系作者

文章来源：机器之心

作者微信：almosthuman2014

作者简介：专业的人工智能媒体和产业服务平台