Meta：新型注意力机制让大模型自动过滤无关信息，准确率提升27%

本文介绍了一项关于大型深度学习模型注意力机制的新研究成果。该研究通过调整模型的注意力，使其屏蔽任务无关信息，从而提高了准确率。这种新的机制被称为“System 2 Attention”（S2A），灵感来源于心理学概念“系统2”，在这种思维模式下，模型能够进行复杂有意识的推理。通过使用提示词调整Transformer模型中的注意力机制，作者成功地让模型的准确率提升了27%，而且无需进行繁琐的微调或训练。这项研究提出这种注意力机制不仅适用于大型模型，也有可能对人类自身的思维方式有所启发。详情可查看原文链接。
联系作者：
文章来源：量子位
作者微信：QbitAI
作者简介：关注人工智能新趋势，致力于科技行业的前沿探索。