四款主流AI模型在眼前节文献引用中的准确性评估
摘要
研究比较了ChatGPT(GPT-5.1)、Copilot、DeepSeek(R1)和Gemini四款AI模型为角膜、结膜和眼睑疾病研究生成参考文献的准确性。研究从眼科教材中选取35段标准临床文本,要求各模型按AMA格式生成参考文献。据摘要报告,DeepSeek准确率最高(78.6%),ChatGPT和Copilot均为51.4%,Gemini最低(12.9%)。两位眼科专家独立复核后,DeepSeek有42.9%的引用被判定为完全引用,Copilot、ChatGPT和Gemini分别为20.0%、11.4%和11.4%。最常见的错误是DOI不匹配和生成无关或无法核实的文献。
信息来源: PubMed Ophthalmology 发布于 2026年1月1日
要点速览
- 四款AI模型为35段眼前节疾病文本生成参考文献,DeepSeek准确率最高(78.6%),Gemini最低(12.9%)
- 两位眼科专家独立复核,将引用分为完全引用、部分引用和未引用三类,DeepSeek完全引用比例为42.9%
- 最常见的错误是DOI不匹配和生成无关或无法核实的文献,作者强调人工核查不可或缺
本站解读
这是一项试点研究:研究者给四款AI模型各35段眼前节疾病的临床文本,让它们生成对应的参考文献,再核对准确性和DOI。据摘要报告,DeepSeek准确率为78.6%,ChatGPT和Copilot均为51.4%,Gemini为12.9%;两位眼科专家独立复核后,DeepSeek被判为完全引用的比例为42.9%,其余三款在11.4%到20.0%之间。
我们的判断是,即使是表现最好的模型,也有相当比例的引用不能直接使用,用AI生成参考文献而不逐条核对,风险很大。最常见的错误是DOI对不上,以及生成无关或查不到的文献,这是AI“幻觉”的典型表现。另外,摘要中部分百分比与括号内的分数并不完全对应,样本也只有35段文本,具体排名还需要更大规模、按版本持续的测试来确认。
中国视角上,表现最好的DeepSeek是国产大模型,但这项研究给出的提示对所有模型都适用:AI可以帮助缩小检索范围,每条文献仍需回到PubMed或期刊页面核实。
常见问题
AI帮我列的眼科论文参考文献,能直接用吗?
不能直接用。这项研究中表现最好的DeepSeek准确率为78.6%,Gemini只有12.9%,常见错误包括DOI对不上、生成无关或查不到的文献。作者强调,用AI生成学术引用时人工核查不可或缺,每条文献都需要回到PubMed或期刊页面核实。国产模型同样需要这样核对。
哪个AI生成眼科文献引用最准?
在这项试点研究里是DeepSeek,准确率78.6%,专家复核的完全引用比例为42.9%;ChatGPT和Copilot准确率均为51.4%,Gemini为12.9%。不过测试只有35段文本,且AI版本更新很快,作者建议按版本持续评测,不能据此认定某个模型可单独依赖。国内用户同样需要人工核对。
延伸阅读
眼表摄影标准化:AI应用的瓶颈与路径
该综述指出,尽管裂隙灯彩色摄影是眼前节记录和随访的基础手段,但其采集与处理长期缺乏统一标准。眼表曲面几何、离轴照明、周边失焦、自动白平衡及瞳孔依赖的曝光变化等因素,严重制约图像可重复性、设备间可比性和临床实用性。文章系统梳理了干眼病、结膜充血、感染性角膜炎等五类眼表疾病中OSP的应用现状,并揭示当前AI模型开发受限于缺乏大规模、多人群、高质量标注的眼表图像数据集,以及缺乏可量化的稳定表型和可靠标签。
基于眼底照相的颈动脉内中膜厚度风险分类模型
研究提出一种名为BMA-Net的双侧注意力网络,结合视网膜领域迁移学习,利用眼底照片进行基于颈动脉内中膜厚度(CIMT)的心血管风险分类。模型先在亚太远程眼科学会(APTOS)2019失明检测数据集上预训练,再迁移到中国眼底CIMT数据集进行分类。十次独立初始化实验中,验证集宏F1均值为77.81%,AUC为84.08%;测试集分别为78.29%和85.22%,各项指标点估计高于此前的Siamese ResNeXt基线模型。
基于OCT图像的冰毒成瘾AI检测框架
研究团队开发了一种结合深度学习与机器学习的混合框架,用于从光学相干断层扫描(OCT)图像中自动识别甲基苯丙胺成瘾者。该框架使用改进的ResNet50-OCT模型提取多层特征,经多分辨率特征选择降维后,由多种核函数的支持向量机分类,并通过阈值过滤迭代多数投票融合结果。在193名受试者的3859张OCT图像上测试,10折交叉验证准确率达89.43%,留一法验证为74.07%。