Meta发布全新Llama 2-Long模型：史无前例的70B尺寸，引领「32k上下文」预训练模型登顶，迈过ChatGPT的巅峰

欢迎阅读AIGC动态

原文标题：Meta发布最新模型Llama 2-Long：70B尺寸，突破「32k上下文」，超越ChatGPT

关键词：模型、上下文、数据、任务

文章来源：新智元

字数统计：12616字

内容摘要：Meta发布Llama 2-Long模型，计算需求降低40%，同时保持短任务性能。大型语言模型在问答、文本总结等任务中表现出色，然而如何让LLM在处理「超长文本输入」时不增加计算需求，且不影响短文本性能，仍然具挑战性。最近，Meta团队公布了支持长上下文的Llama 2-Long模型训练方法，该模型有效上下文窗口多达32768个toke…

原文链接：Meta发布最新模型Llama 2-Long：70B尺寸，突破「32k上下文」，超越ChatGPT

作者联系方式

文章来源：新智元

作者微信号：AI_era

作者简介：智能+中国主平台，致力于推动中国智能+新纪元发展。专注人工智能、机器人等前沿领域，关注人机融合、人工智能和机器人对社会与文明进化的影响，引领中国智能时代。