陈丹琦团队新作：以5%成本打破SOTA记录，“羊驼剪毛”走红

本文来自量子位，讲述了普林斯顿陈丹琦团队最新的研究成果：使用LLM-Shearing大模型剪枝法，在仅使用3%的计算量和5%的成本的情况下，取得了SOTA成果。该研究以羊驼LLaMA 2 7B为基础，通过定向结构化剪枝获得了1.3B和3B剪枝后的Sheared-LLama模型，这两个模型在下游任务评估中表现优异，超越了之前相同规模模型的性能。研究人员表示，相比于从头开始预训练，这种剪枝方法更加划算。

文章来源于量子位，作者微信号为QbitAI，致力于追踪人工智能新趋势，关注科技行业的最新突破。如果想了解更多详情，请点击阅读原文链接。