微软发布Orca 2，小模型推理性能超越10倍参数模型，已开源

欢迎阅读AIGC动态

原文标题：微软推出小型模型推理进阶版：Orca 2性能与参数量提升10倍的模型，已公开发布

关键词：模型、研究人员、任务、能力、策略

文章来源：机器之心

字数：7673字

内容摘要：机器之心的报道指出，借助大规模语言模型教授较小规模语言模型进行推理，将事半功倍。诸如GPT-4、PaLM等先进语言模型已经展示出出色的推理能力，如回答复杂问题、生成解释，甚至解决多步推理问题，这些能力曾被视为人工智能不可能达到的。然而，这种能力在较小语言模型中并不明显，因此当前的挑战在于如何利用大型语言模型不断增长的知识，以提升较小模型的能力。微软研究院之前发布了Orca，这是一个拥有130亿参数的语言模型，通过模仿更强大的LLM进行逐步推理，展现了强大的推理能力。如今，研究人员推出了Orca 2，继续探索如何通过改进训练信号提升较小语言模型的推理能力。论文链接：https://arxiv.org/pdf/2311.11045.pdf，Hugging Face 链接：https://huggi…

原文链接：点击微软教小模型推理进阶版：Orca 2性能媲美10倍参数模型，已开源阅读原文