北大等提出首个「多轮、多模态」PPT任务完成基准PPTC，GPT-4正确率仅为6%

AIGC动态欢迎阅读

原文标题：GPT-4完成正确率仅6%！北大等提出首个「多轮、多模态」PPT任务完成基准PPTC

关键词：模型、轮次、指令、任务、语言

文章来源：新智元

内容字数：9968字

内容摘要：针对LLM在复杂多模态环境中利用复杂工具完成多轮、多模态指令的评估空白，研究人员引入了PowerPoint任务完成（PPTC）基准测试，用于评估LLM创建和编辑PPT文档的能力。最近对大型语言模型（如ChatGPT和GPT-4）的评估工作主要集中在基本自然语言任务上，以及模型生成用于解决单句用户指令的API工具使用能力，却忽略了对理解复杂多模态…

原文链接：阅读原文请点击：GPT-4完成正确率仅6%！北大等提出首个「多轮、多模态」PPT任务完成基准PPTC

联系作者

文章来源：新智元

作者微信：AI_era

作者简介：智能+中国主平台，致力于推动中国从互联网+迈向智能+新纪元。专注人工智能、机器人等前沿领域发展，关注人机融合、人工智能和机器人对人类社会与文明进化的影响，引领中国新智能时代。