普林斯顿北大校友揭秘多头「美杜莎」，推理速度飙升至33B模型水平，快如13B

AIGC动态专题

原标题：推理速度翻倍！普林斯顿北大校友联手打造多头「美杜莎」，33B模型与13B相媲美

关键词：模型、研究人员、草稿、树状、阈值

文章来源：新智元

内容字数：12636字

内容摘要：新智元报道编辑：桃子 好困【新智元导读】如何加速大型模型的推理过程？普林斯顿大学、UIUC等机构的华人团队提出了一个简单的框架Medusa，通过训练多个解码头，直接将LLM的推理速度提升了2倍。由于LLM架构固有的内存限制，导致生成速度缓慢且成本高昂。许多专家正寻找解决这一问题的方法。Karpathy曾多次提出，大型模型的「投机采样」是提高推理速度的一个出色选择。然而，尽管投机解码可以加速生成速度，但由于其过于复杂，并未被广泛采…

原文链接：[原文链接]

联系作者

文章来源：新智元

作者微信：AI_era

作者简介：智能+中国主平台，致力于推动中国从互联网+迈向智能+新纪元。专注于人工智能、机器人等前沿领域的发展，关注人机融合、人工智能和机器人对人类社会与文明进化的影响，引领中国智能时代。