本文报告了滑铁卢大学、北京大学等机构发布的 EAGLE，该新方法旨在提升大型语言模型的推理速度，同时保证模型输出文本的分布一致性。传统自回归解码存在效率低下的问题，而 EAGLE 通过外推 LLM 的第二顶层特征向量，成功提升了生成效率。据称，EAGLE 比普通自回归解码快 3 倍，比 Lookahead 解码快 2 倍。感兴趣的读者可以点击原文链接了解更多详细信息。
