微软称FP8训练大模型比BF16快64%，内存节省42%

AIGC动态欢迎阅读

本文转载自机器之心，标题为：用FP8训练大模型有多香？微软：比BF16快64%，省42%内存。文章介绍了使用FP8 8位浮点混合精度训练相比于传统的16位和32位浮点混合精度训练，在大型模型训练中可以带来速度提升、节省显存和通信成本的优势。然而，当前大型模型训练框架对FP8训练的支持仍然有限。

原文链接：[原文链接](点此阅读原文：用FP8训练大模型有多香？微软：比BF16快64%，省42%内存)

联系作者

文章来源：机器之心

作者微信：almosthuman2014

作者简介：专业的人工智能媒体和产业服务平台