超过500项研究、50个模型的代码大模型全面总览

AIGC动态2年前发布 AI工具箱

2 0 0

最新动态：AIGC详细内容

原文标题：涵盖500多项研究、50多个模型，代码大模型综述来了

关键词：代码、模型、语言、任务、报告

文章来源：机器之心

总字数：20064字

主笔：Panda W，机器之心编辑

本文全面探讨了LLM编写代码的各种方法。近年来，随着BERT和GPT等预训练Transformer的问世，语言建模取得了重大进展。大型语言模型（LLM）参数数量扩展至数以千万计后，LLM开始展示出通用人工智能的特征，应用领域也不再局限于文本处理。Codex首次展示了LLM在处理代码方面的出色能力，并出现了商业产品如GitHub Copilot，以及开源代码模型如StarCoder和Code LLaMA等。然而，在代码处理方面，预训练Transformer的应用可追溯至仅有解码器（decoder-only）的自回归模型成为主流技术之前，但这一领域尚未有完整综述。上海交通大学和蚂蚁集团的一研究团队填补了这一空白，对用于代码的语言模型进行了全面总结，覆盖了50多个模型、30多个…

原文链接：请点击涵盖500多项研究、50多个模型，代码大模型综述来了