13B模型揭秘：如何全面超越GPT-4？

AIGC动态欢迎您的阅读

原标题：13B模型是否真的超越了GPT-4？背后的内幕揭秘

关键词：样本、基准、测试、本文、数据

文章来源：机器之心

内容字数：5526字

内容摘要：机器之心报道编辑：陈萍，您的测试集信息是否在训练集中泄漏？一个参数量为13B的模型竟然战胜了顶尖的GPT-4？如下图所示，并通过遵循OpenAI的数据去污方法，这一测试结果得到了保证。更重要的是，并没有发现数据污染的证据。如果您仔细观察图中的模型，会发现只要带有「rephraser」这个词，模型性能就相对较高。这背后究竟隐藏着什么？原来，数据被污染了，也就是测试集信息在训练集中泄漏，而且这种污染很难被检测到。尽管这一问题非常关键，但理解和检测污染仍然是一个开放且具有挑战性的难题。目前，去污最常用的方法是n-gram重叠和嵌入相似性搜索：n-gram重叠依赖于字符串匹配来检测污染，是GPT-4、PaLM和Llama-2等模型常用的方法；嵌入相似性搜索则使用预训练模型（如BERT）的嵌入来查找相似且可能受污染的样本。然而，来自UC伯克利、上海交通大学的研究表明…

原文链接：点此阅读原文：13B模型是否真的超越了GPT-4？背后的内幕揭秘

联系作者

文章来源：机器之心

作者微信：almosthuman2014

作者简介：专业从事人工智能媒体和产业服务平台。