视频大模型评估干眼科普视频质量表现不佳
摘要
研究首次建立视频大语言模型（VideoLLM）评估眼科科普视频的基准框架，测试了VideoLLaMA3、QwenVL和InternVL三款模型对185条中文干眼短视频的质量评分能力。使用PEMAT-A/V、GQS和VIQI三种专业工具作为金标准，由两位眼科医生独立标注。结果显示，三款模型与专家评分的一致性普遍偏低（ICC<0.40），仅在PEMAT-A/V的‘可操作性’维度上，QwenVL和InternVL分别达到ICC 0.50和0.43。
信息来源： PubMed Ophthalmology 发布于 2026年2月13日
要点速览
- 研究首次构建VideoLLM评估眼科科普视频的基准，使用185条中文干眼短视频和两位眼科医生标注。
- 采用PEMAT-A/V、GQS、VIQI三种专业工具作为评估标准，并用ICC量化模型与专家一致性。
- 三款VideoLLM（VideoLLaMA3、QwenVL、InternVL）在多数指标上ICC<0.40，仅QwenVL在PEMAT-A/V行动性维度达ICC 0.50。
本站解读
这项研究发现，当前主流视频大语言模型在自动评估干眼症科普视频质量方面整体不可靠——185条视频样本的测试显示，模型与眼科医生评分的一致性多数低于0.40（ICC），远未达到临床或监管可用水平（通常要求ICC≥0.75）。虽然QwenVL在‘可操作性’这一单项上拿到0.50，但这是唯一接近中等一致性的结果，且仍不足以支撑独立决策。
研究设计扎实：双专家独立标注、三个成熟评估工具交叉验证、开源框架便于复现，但样本限于中文TikTok平台，未覆盖其他渠道或语言，泛化性存疑。它不是一次技术突破，而是对AI医疗内容治理现状的清醒提醒：自动化审核尚处早期，离替代人工还有很长距离。
短期内不可能改变临床做法——医生不会用这些模型审视频，平台也不会据此下架内容。普通人无需因此调整行为，但可多一分警惕：刷到干眼科普视频时，留意是否给出具体、可执行的建议（如热敷时长、眨眼练习频次），这类信息在本次测试中反而是模型最可能识别出的部分。国内情况有待确认。
常见问题
我刷到的干眼科普视频靠谱吗？
不能单凭视频是否‘看起来专业’判断。本研究发现，连AI模型都难以准确识别科普质量，目前最可靠的仍是权威医疗机构发布的视频，或经眼科医生认可的内容。若视频中提到具体操作方法（如热敷温度、频率），这类信息相对更易被专业工具识别为高质量。如有疑虑可咨询眼科医生。
AI能帮我判断干眼视频有没有骗人吗？
目前还不能。研究测试了三款先进视频大模型，它们与眼科医生评分的一致性普遍很低（ICC<0.40），说明现有AI尚无法可靠识别干眼科普中的错误或误导信息。依赖AI自动过滤不实内容仍不现实，需结合人工审核与平台责任。如有疑虑可咨询眼科医生。
延伸阅读
AI增强OCT可准确量化冠状动脉斑块负荷
研究团队开发了一种深度学习算法，用于全自动分析光学相干断层扫描（OCT）图像，以量化冠状动脉斑块负荷（PB）和血管尺寸。研究使用10例尸检人的心脏，对29支主要冠状动脉进行OCT和血管内超声（IVUS）成像，并与组织病理学金标准对比。共获得852个匹配的横截面数据，结果显示AI-OCT与病理结果的相关性不劣于IVUS，且无统计学显著差异。
大语言模型用于糖尿病视网膜病变患者教育的评估
研究对比了ChatGPT、Gemini、DeepSeek、Doubao、Copilot和Perplexity六款大语言模型在回答50个标准化糖尿病视网膜病变患者问题时的表现。由五名评审员依据安全、准确、共情、信息质量（DISCERN、JAMA等）、透明度和可读性等维度评分。结果显示，各模型安全响应率在86.0%至94.0%之间，准确性普遍较高，但共情能力差异明显；Perplexity在信息质量指标上得分最高，Gemini可读性最佳，但所有模型的Flesch阅读易度分均低于推荐阈值。
AI眼病诊断研究临床转化率低
这项系统综述分析了2020年至2025年8月间发表的43篇基于眼底照和OCT图像的深度学习眼病诊断研究，发现虽有超95%的模型宣称高准确率，但仅14.3%完成真正临床验证，23.1%未公开代码或实现细节。研究提出‘转化准备度框架’，整合技术透明度、验证严谨性与性能报告，为眼科AI落地提供评估标准。