大语言模型生成高度近视考题能力评估
摘要
研究对比了ChatGPT-5.4、Gemini 3、DeepSeek、Kimi K2.5和Doubao五款公开大模型在高度近视领域生成单选题(MCQ)的能力。每模型完成60道题,共300题,覆盖基础理论、临床案例、诊疗决策及筛查随访四类内容。所有模型结构合格率均为100%,但关键答案准确率从95.0%(Kimi K2.5、Doubao)到100.0%(ChatGPT-5.4、Gemini 3)不等。专家评审发现各模型在干扰项质量与事实准确性上存在显著差异,需人工审核方可用于教学。
信息来源: PubMed Ophthalmology 发布于 2026年1月1日
要点速览
- 五款大模型在高度近视单选题生成任务中全部实现100%结构合格率,但关键答案准确率介于95.0%至100.0%之间。
- 研究采用标准化蓝图覆盖四大教学领域,并由两位眼科专家按6个维度进行5分制评分。
- 所有模型均需专家人工审核后才具备教学可用性,因干扰项质量与事实准确性存在显著差异。
本站解读
这背后是AI正从通用能力向专科知识生产深度渗透的底层趋势——不是简单问答,而是参与专业教育内容的批量构建。对行业格局而言,拥有高质量中文眼科语料库、能适配本土教学大纲的模型将快速抢占医学教育工具市场;而仅依赖通用训练、缺乏临床逻辑校验的模型,即使格式达标,也会因95.0%的关键答案准确率这类硬伤,在真实教学场景中承压。中国市场已出现类似尝试,但当前研究中DeepSeek(98.3%)、Kimi(95.0%)等国产模型虽进入测试序列,其干扰项设计与临床决策类题目得分仍明显低于国际头部模型,说明本土化专科知识蒸馏尚未完成。
后续应重点关注两个信号:一是2026年内是否出现由三甲眼科中心牵头、嵌入真实电子病历数据的MCQ生成SaaS平台上线;二是国家医学考试中心是否会将AI生成试题纳入继续教育学分认证试点——若发生,将直接倒逼模型从‘能写’转向‘能用’。
常见问题
AI出的眼科考题能直接用来备考吗?
目前还不能直接使用。研究显示,即使是表现最好的模型,其生成题目中的干扰项质量和临床决策类内容仍需专家把关;中国市场上已有类似工具试用,但尚未进入国家继续教育或医师考核体系。如有疑虑可咨询眼科医生。
国产AI模型在眼科教育里靠谱吗?
部分国产模型已进入测试序列,如DeepSeek关键答案准确率达98.3%,Kimi为95.0%,但整体在临床案例和诊疗决策类题目上得分偏低。这意味着它们可以辅助出题,但尚不能替代专家审核。中国眼科教育数字化进程正加速,但专科AI落地仍需3年以上临床验证周期。
延伸阅读
AI进入视网膜诊疗对专科培训的冲击
研究系统梳理了AI在视网膜图像判读中的临床部署如何重塑专科医生培训体系,涵盖教育机会、发展风险与课程响应三方面。检索截至2026年3月,识别出六大主题:部署场景、AI作为教学工具、可解释性与教学法、学员能力退化风险、大语言模型对考核效度的影响,以及机构应对措施。研究指出AI既带来个性化病例分配、合成数据生成等新可能,也引发‘去技能化’‘从未习得技能’和自动化偏见等真实风险。
视网膜血管AI量化分析预测心血管风险
研究团队利用AI工具AutoMorph,从8467名40-70岁健康受试者的眼底照片中提取12项视网膜血管定量指标,涵盖动脉和静脉的密度、宽度、分形维数及迂曲度等。外部验证使用UK Biobank的16249例影像。结果发现动脉指标与血压、血脂、血糖、BMI及睡眠呼吸暂停参数显著相关,且能预测新发心血管事件。研究首次建立年龄与性别分层的视网膜血管参考值体系。
鸟枪脉络膜视网膜炎宽视野眼底图像数据集发布
研究团队发布了名为Birdshot-Wide的公开眼底影像数据集,包含742只鸟枪脉络膜视网膜炎(BSCR)患眼的5042张宽视野眼底照和742只健康对照眼的1310张图像,所有BSCR图像均经人工质量审核并按主要病变亚型分类,中位随访达4.31年;基于该数据集训练的深度学习模型在区分BSCR与正常眼任务中AUC最高达0.96。