绝无仅有的首个开源MoE大型模型发布：包含7Bx8个专家，距离GPT-4最近的一款模型

本文标题为"AIGC动态欢迎阅读"，介绍了首个开源MoE大模型的发布。这个MoE架构全称为专家混合（Mixture-of-Experts），被认为是离GPT-4最近的一次尝试。文章指出，这一模型的发布无需发布会或宣传视频，只使用了一个磁力链接，却引起了广泛关注。具体参数包括7B参数x8个专家，以及对每个token选择前两个最相关的专家进行处理。文章提及OpenAI创始成员Karpathy的吐槽，质疑发布方式是否有所不足。同时，文章指出AI社区近期活跃的原因之一是即将到来的NeurIPS会议。作者微信号为QbitAI，专注追踪人工智能新趋势，关注科技行业的新突破。详细内容请参阅原文链接。