PubMedQA

PubMedQA 是一个专注于生物医学研究问题回答的数据集，旨在通过相应的摘要回答研究问题，答案形式为“是/否/可能”。该数据集的任务示例包括：“术前使用他汀类药物是否能减少冠状动脉旁路移植术后的心房颤动？”

• 数据集包含：
• 1,000个专家标注的问答实例
• 61,200个未标注的问答实例
• 211,300个人工生成的问答实例
• 用户可以通过访问我们的 GitHub 仓库下载数据集和代码。

在提交模型时，用户需遵循 GitHub 仓库中的说明。若在研究中使用 PubMedQA，请引用我们的论文，格式如下：

@inproceedings{jin2019pubmedqa,

  title={PubMedQA: A Dataset for Biomedical Research Question Answering},

  author={Jin, Qiao and Dhingra, Bhuwan and Liu, Zhengping and Cohen, William and Lu, Xinghua},

  booktitle={Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP)},

  pages={2567--2577},

  year={2019}

}

在推理需求设置下的排行榜中，模型的表现如下：

• GPT-4 (Medprompt) - 准确率：82.0%
• Med-PaLM 2 - 准确率：81.8%
• MEDITRON - 准确率：81.6%
• Palmyra-Med - 准确率：81.1%
• AntGLM-Med - 准确率：80.6%

其他模型的准确率和代码大小也在排行榜中列出，展示了各个模型在生物医学问答任务中的表现。该排行榜由 Qiao Jin 维护，最后更新于2024年4月28日。