树状

本文报告了滑铁卢大学、北京大学等机构发布的 EAGLE，该新方法旨在提升大型语言模型的推理速度，同时保证模型输出文本的分布一致性。传统自回归解码存在效率低下的问题，而 EAGLE 通过外推 LLM 的第二顶层特征向量，成功提升了生成效率。据称，EAGLE 比普通自回归解码快 3 倍，比 Lookah...

AIGC动态专题 原标题：推理速度翻倍！普林斯顿北大校友联手打造多头「美杜莎」，33B模型与13B相媲美 关键词：模型、研究人员、草稿、树状、阈值 文章来源：新智元 内容字数：12636字 内容摘要：新智元报道编辑：桃子 好困【新智元导读】如何加速大型模型的推理过程？普林斯顿大学、UIUC等机构的华...