一天内用8张3090压缩万亿参数大模型，压缩率达20倍，数据从3.2TB降至160GB

<img src="">

AIGC动态欢迎阅读

原标题：8张3090，1天压缩万亿参数大模型！3.2TB骤降至160GB，压缩率高达20倍

关键词：模型、研究人员、参数、内核、专家

文章来源：新智元

内容字数：5479字

内容摘要：最近，来自ISTA的研究人员提出了一种全新的模型量化方法QMoE，可以将1.6万亿个参数的SwitchTransformer压缩到160GB以下（每个参数0.8位），且精度损失很小。随着GPT-4的架构被知名业内人士「开源」，混合专家架构（MoE）再次成为研究的重点。GPT-4拥有16个专家模型，总共包含1.8万亿个参数。每生成一个token需要使用大约2800…

原文链接：[原文链接]

联系作者

文章来源：新智元

作者微信：AI_era

作者简介：智能+中国主平台，致力于推动中国从互联网+迈向智能+新纪元。重点关注人工智能、机器人等前沿领域发展，关注人机融合、人工智能和机器人对人类社会与文明进化的影响，引领中国新智能时代。