MoE模型参数数量达到467亿，追平GPT-3.5！Mixtral开源模型细节首次披露，性能接近GPT-4

近日，Mistral AI公司公布了Mixtral 8x7B模型的技术细节，展现出强劲的性能和更快的推理速度。此外，Mistral AI还推出了性能更强的Mistral-medium型号，已经进入内测阶段，性能直逼GPT-4。Mixtral 8x7B在许多基准测试中的表现优于Llama 2 70B，推理速度提高了整整6倍！尤其值得注意的是，在大多数标准基准测试中，Mixtral与GPT-3.5旗鼓相当，甚至略有优势。这款新的Mixtral 8x7B模型支持处理32k长度的上下文，涵盖英语、法语、意大利语、德语和西班牙语，并表现出强大的代码生成性能。此外，它还可以微调为指令跟随模型，在MT-Bench上取得了8.3分的优异成绩。总体而言，467亿参数的Mixtral模型的实力可与GPT-3.5媲美。详情请查阅原文：467亿参数MoE追平GPT-3.5！爆火开源Mixtral模型细节首次公开，中杯逼近GPT-4。

如果您对作者或原文感兴趣，可联系作者微信：AI_era，或阅读完整内容请访问原文链接。感谢新智元的报道。

图片已删除，如需查看，请参阅原始文档。