研究：GPT-4 在儿科疾病诊断中准确率仅为 17%

据站长之家 1 月 5 日报道，发表在《美国医学会儿科杂志》上的一项研究表明，GPT-4 在儿科医学病例的诊断方面的准确率仅为 17%，较去年一般医学病例的 39% 更低。 在该项由纽约科恩儿童医学中心进行的研究中，ChatGPT-4 被用于分析自 2013 年至 2023 年间 JAMA Pediatrics 和 NEJM 发表的 100 个儿科病例。研究人员将相关病例的文本粘贴到 ChatGPT 的提示中，然后由两名合格的医学研究员对 AI 生成的答案进行评分。ChatGPT 在 100 个病例中仅有 17 个正确的诊断，72 个错误的诊断，以及 11 个未完全捕捉到诊断的情况。其中，57% 的错误诊断集中在同一器官系统。 这一低成功率显示出人类儿科医生在短时间内不太可能失业的现实，研究强调了临床经验在医学领域的不可替代性。研究人员指出 ChatGPT 的高错误率主要源于其对疾病关系的辨识不足，并提出通过有选择性地在准确可信的医学文献上进行培训，以及提供更实时的医学数据，有望提高模型的准确性。