ChatGPT在肾脏病学领域的专业准确性评估

ChatGPT在肾脏病学领域的专业表现评估

随着人工智能技术的飞速发展，ChatGPT作为一个先进的机器学习模型，在多个领域显示出了其对话和信息处理能力的潜力。近期发表在《美国肾脏病学会临床杂志》（影响因子：9.8）上的一项研究对ChatGPT在肾脏病学领域内的应用性能进行了评估，通过回答专业测试问题来考量其准确性和一致性。

研究背景

尽管ChatGPT在模拟美国执业医师考试中的表现与高分考生相当，但其在肾脏病学专业领域内的具体表现尚未明确。为了探究ChatGPT在此领域的实际应用效果，研究人员设计了一系列的专业测试。

研究方法

研究团队选取了来自肾脏病自我评估计划（Nephrology Self-Assessment Program）和肾脏自我评估计划（Kidney Self-Assessment Program）的975道单选题，排除了包含视觉元素的题目。通过利用GPT-3.5和GPT-4模型对这些问题库进行两轮测试，计算出总准确率（正确答案的比例）和总一致率（两轮测试中相同答案的比例）。

研究结果

GPT-3.5模型的总准确率为51%，其中肾脏病自我评估计划的问题准确率为58%，肾脏自我评估计划的准确率为44%（P < 0.001）。总一致率为78%，其中正确答案的一致率为84%，错误答案的一致率为73%（P < 0.001）。在肾脏病学的各个子领域中，电解质和酸碱平衡紊乱、肾小球疾病以及肾脏相关的骨骼和结石疾病的准确率相对较低。

GPT-4模型的总准确率为74%，明显高于GPT-3.5（P < 0.001），但仍未达到肾脏病学考试的及格标准（77%）。