背诵非理解，解构大型模型的知识存储与提取

AIGC动态欢迎您的阅读

原文标题：背诵与理解的区别：探析大型模型背后的知识储备与提取

关键词：模型，知识，数据，传记，探针

文章来源：机器之心

内容字数：7483字

内容摘要：在自然语言模型中，仅仅对数据进行背诵并不能代表其真正理解。即使一个模型能够完整地记住所有数据，也许仍无法通过微调来提取这些知识，甚至无法回答简单问题。随着模型规模的扩大，人们开始探索大型模型是如何掌握大量知识的。有一种观点认为这要归功于“无损压缩”，即模型通过大规模训练，记忆更多内容以提高预测精度。但是，“无损压缩”是否真的能让大型模型真正理解这些知识呢？朱泽园在这篇文章中提出了自己的见解。

原文链接：点击查看完整原文：背诵与理解的区别：探析大型模型背后的知识储备与提取