LLaMA微调显存需求减半，清华大学提出新型4比特优化器

欢迎阅读AIGC动态

原标题：LLaMA微调显存需求减半，清华提出4比特优化器

关键词：张量，状态，显存，精度，模型

文章来源：机器之心

内容字数：8553字

最近，清华大学的朱军、陈键飞团队提出了一种4比特优化器，用于神经网络训练，可以减少模型训练中的内存开销。这对于训练大型模型和微调过程对显存要求较高的任务至关重要。值得一提的是，这种4比特优化器不仅可以节省内存开销，而且在准确率上也能与全精度优化器媲美。

他们的研究表明，在多项预训练和微调任务中，使用4比特优化器可以将微调LLaMA-7B模型的显存开销降低高达57%，而且准确率不受影响。详情请查阅原文：LLaMA微调显存需求减半，清华提出4比特优化器。

联系作者

文章来源：机器之心

作者微信：almosthuman2014

作者简介：专业的人工智能媒体和产业服务平台