微软发布LLMLingua大模型压缩框架，压缩比高达20倍

AIGC动态欢迎阅读

近期，关于大型语言模型（LLM）在实际应用中推理和生成能力的研究日益增多。随着诸如ChatGPT等模型的广泛应用和研究，如何在保留关键信息的同时压缩较长的提示成为当前大模型研究的一个关键问题。微软提出了一种名为LLMLingua的提示压缩框架，旨在加速模型推理过程并降低成本。该方法通过使用训练有素的较小语言模型，将提示从粗到细地动态分配不同的压缩比率，在高压缩比率下保持语义完整性。尽管token级的压缩提示格式难以被人类理解，但LLM表现出色。实验证明，即使在20倍的压缩下，该方法的性能损失依然较小，不仅能够降低计算成本，还为解决LLM中更长上下文提供了潜在的解决方案。

原文链接：点此阅读原文：20倍压缩比！微软提出大模型提示压缩框架LLMLingua

联系作者

文章来源：夕小瑶科技说

作者微信：xixiaoyaoQAQ

作者简介：聚集25万AI应用开发者、算法工程师和研究人员，汇聚更快的AI前沿和更深入的行业洞察。一线作者来自清华北大、国外顶尖AI实验室和互联网巨头，具备丰富的媒体sense和技术深度。