揭示自我注意力推理缺陷的奥秘：蚂蚁成功自研新一代Transformer，或将实现无损外推

<img src="">

欢迎阅读AIGC动态

原文标题：探讨自注意力推理缺陷，蚂蚁团队自研新一代Transformer或实现无损外推

关键词：模型、位置、注意力、长程、论文

文章来源：机器之心

字数：18272字

内容摘要：本文作者为蚂蚁人工智能团队，在大语言模型迅速发展的背景下，学术界对其长度外推能力逐渐关注。尽管最初认为 Transformer 天生具备这一能力，随着研究的深入，现实却并非如此。传统的 Transformer 架构在超出训练长度范围时显示出较差的推理性能。研究人员逐渐意识到这一缺陷可能与位置编码有关…

原文链接：[原文链接]

联系作者

文章来源：机器之心

作者微信：almosthuman2014

作者简介：致力于人工智能领域的专业媒体和产业服务平台