智源等机构发布LM-Cocktail模型治理策略：多技能大模型调制指南

欢迎阅读AIGC动态

原文标题：智源等机构发布LM-Cocktail模型治理策略，像调一样调制多技能大模型

关键词：模型、任务、报告、目标、准确度

文章来源：机器之心

字数：4663字

内容摘要：随着大模型技术的发展与应用，对于“模型治理”问题的关注日益增加。研究者在实践中面临多重挑战。一方面，为了在目标任务中获得高性能，研究者需收集和构建任务数据集，并微调大语言模型（LLM）。然而，这种方法通常导致除目标任务外其他任务的性能明显下降，削弱了LLM的通用能力。另一方面，随着开源社区模型的增多，大模型开发者可能积累了多个模型，每个模型都有其优势，如何选择合适的模型进行任务执行或微调反而成为难题。最近，智源研究院信息检索与知识计算组发布了LM-Cocktail模型治理策略，旨在为大模型开发者提供一种低成本持续提升模型性能的方法：利用少量样例计算融合权重，借助模型融合技术将微调模型与原模型的优势融合，实现“模型资源”的高效利用。技术报告详情请参阅：https://arxiv.org/abs/2…

原文链接：像调一样调制多技能大模型，智源等机构发布LM-Cocktail模型治理策略

联系作者

文章来源：机器之心

作者微信：almosthuman2014

作者简介：提供专业人工智能媒体和产业服务平台