测试集插入预训练数据导致大模型评分虚高，谨防坑人！

欢迎阅读AIGC动态

本文原题为：别让大模型被基准评估坑了！测试集乱入预训练，分数虚高，模型变傻。

关键词：报告、模型、基准、数据、测试。

文章来源：量子位

内容字数：4437字

简介：最新研究发现，基准测试中常见的现象是测试集的数据被意外用于模型的训练。由人民大学信息学院、高瓴人工智能学院和伊利诺伊大学厄巴纳-香槟分校合作的这项研究认为，由于预训练语料中包含了大量公开文本资料，而基准评估建立在这些信息之上，因此这种情况已经不容忽视。随着大型模型尝试从更多公开数据中获得信息，这一问题正逐渐加剧。

原文链接：[点击查看原文](u”别让大模型被基准评估坑了！测试集乱入预训练，分数虚高，模型变傻”)

联系作者

文章来源：量子位

作者微信号：QbitAI

作者简介：专注追踪人工智能新趋势，关注科技行业的新突破。