LLaMA2模型上下文长度扩展至100万tokens，仅需调整一个超参数｜复旦邱锡鹏团队力作

AI 前沿信息

原标题：复旦邱锡鹏团队调整一个超参数，LLaMA2上下文长度达100万tokens

关键词：模型、长度、位置、底数、上下文

文章来源：量子位

字数：5019 字

内容摘要：最新研究发现，只需微调一个超参数，LLaMA 2 模型上支持的上下文长度从1.6 万 tokens 延长至 100 万。相比之下，即使是最新的大热模型 Claude 2 和 GPT-4，也仅支持 10 万和 3.2 万的上下文长度。超过这些范围，大型模型将开始生成混乱的内容，难以记忆。这项新研究来自复旦大学和上海人工智能实验室。

原文链接：[原文链接：LLaMA2上下文长度暴涨至100万tokens，只需调整1个超参数｜复旦邱锡鹏团队出品](原文链接：LLaMA2上下文长度暴涨至100万tokens，只需调整1个超参数｜复旦邱锡鹏团队出品)