马毅团队研发出「白盒」Transformer，揭开LLM黑盒的奥秘！

深度解读：AIGC团队探索智能本质

原文标题：智能的本质是压缩？马毅团队提出「白盒」Transformer，揭开LLM黑盒！

关键词：研究者，模型，架构，表征，编码器

文章来源：新智元

字数：8585字

内容摘要：研究人员来自UC伯克利、香港大学等机构，提出了一种创新的「白盒」Transformer结构CRATE。他们通过将高维数据压缩为低维结构，有效地实现了表征，从而提升了模型性能。这引发了关于智能本质的讨论，是否智能的核心在于压缩？AI领域一直在争论大型模型的安全性问题，归结于神经网络的「黑盒」特性，令人难以理解。如果能找到既具备Transformer结构和功能优势，又具有良好可解释性的架构，是否能解决大型模型的安全性问题？为了消除超级AI可能带来的风险，Hinton等人强调「AI末日论」，或许可以引起公众关注，推动解决问题。然而，要彻底解决问题，必须在技术层面找到消除AI风险的实际途径。拆解大型模型的「黑盒」特性，成为至关重要的一步。由UC伯克利、TTIC、上海科技大学等机构组成的团队，由马毅教授领导…

原文链接：点击此处查看完整文章：智能的本质是压缩？马毅团队5年心血提出「白盒」Transformer，打开LLM黑盒！

联系作者

文章来源：新智元

作者微信：AI_era

作者简介：智能+中国主平台，致力于推动中国向智能时代迈进。侧重关注人工智能、机器人等前沿领域发展，探讨人机融合、人工智能和机器人对社会和文明进化的影响，引领中国智能时代。