参数

共 45 篇文章

10人只用两个月时间打造出大型模型,一年内发表16篇顶级会议论文支持:市面上没有任何开源项目能与之匹敌

欢迎阅读AIGC动态 原标题:10人仅用两个月时间完成大型模型开发!一年内发表16篇顶级会议论文:市面上没有任何开源项目能与之媲美 关键词:模型、团队、数据、矩阵、参数 文章来源:量子位 文章长度:6354字 内容摘要:本文由衡宇发布于凹非寺量子位公众号,关注人工智能领域的最新动态。一家成立于深圳的...
10人只用两个月时间打造出大型模型,一年内发表16篇顶级会议论文支持:市面上没有任何开源项目能与之匹敌

Megatron-LLaMA:开源大模型训练框架,训练速度提升至32卡176%

欢迎阅读AIGC动态 原标题:Megatron-LLaMA开源,32卡训练加速176% 关键词:梯度、模型、参数、切分、通信 文章来源:机器之心 内容字数:8394字 内容摘要:淘天集团联合爱橙科技在9月12日对外开源大模型训练框架Megatron-LLaMA,旨在帮助技术开发者提升大语言模型训练性...
Megatron-LLaMA:开源大模型训练框架,训练速度提升至32卡176%
1 2