贾佳亚韩松团队最新作品：两行代码实现大模型上下文窗口倍增 | 登上GitHub热榜

AIGC动态欢迎阅读

原标题：贾佳亚韩松团队新作：两行代码让大模型上下文窗口倍增 | GitHub热榜

关键字：模型、注意力、长度、数据、窗口

这篇文章的内容来源于量子位，全文共计4214字。文章介绍了贾佳亚和韩松领导的团队提出的新方法，只需两行代码加上11小时的微调，就能将大模型的上下文窗口长度从4k提高到32k。这种基于LoRA的全新大模型微调方法被称为LongLoRA，是由来自香港中文大学和麻省理工学院的全华人团队合作开发的。该方法已登上GitHub热榜，最长可以扩展到10万token，能够一次性阅读完长篇小说的多个章节或中短篇小说。

想要阅读完整文章，请点击原文链接：贾佳亚韩松团队新作：两行代码让大模型上下文窗口倍增 | GitHub热榜

联系作者

文章来源：量子位

作者微信：QbitAI

作者简介：专注追踪人工智能领域的最新趋势，关注科技行业的最新突破。