Eyecare-100K

Eyecare-100K是第一个全面的眼科视觉指令数据集，包含约102,000个视觉问答(VQA)对，涵盖8种成像模态、3种任务、超过15种解剖结构和100多种眼病类型。Eyecare-100K is the first comprehensive ophthalmic visual instruction dataset, which contains approximately 102,000 visual question answering (VQA) pairs, covering 8 imaging modalities, 3 task types, over 15 anatomical structures and more than 100 eye disease categories.

原始信息汇总

EyecareGPT 数据集概述

📌 数据集基本信息

• 名称: Eyecare-100K
• 类型: 视觉问答（VQA）数据集
• 规模: 约102,000个视觉问答对
• 覆盖范围:
  • 8种成像模态
  • 15+种解剖结构
  • 100+种眼部疾病
  • 3种任务类型（封闭式QA、开放式QA、报告生成）

🎯 数据集特点

• 首个综合性眼科视觉指令数据集
• 包含多模态报告生成和细粒度视觉问答任务
• 数据来源于真实世界眼科临床数据

📊 数据收集与处理

• 采用多智能体数据引擎自动化生成结构化VQA对
• 数据分为三类：
  • 封闭式QA
  • 开放式QA
  • 报告生成

🏆 相关成果

• Eyecare-Bench: 系统性眼科诊断基准测试，包含约15,000个精选案例
• EyecareGPT: 专为眼科设计的LVLM架构，包含：
  • 高分辨率特征提取
  • 自适应分辨率机制
  • 层间密集连接器（LDC）

🚀 模型信息

• EyecareGPT-3.8B:

  • 视觉编码器: siglip-so400m-patch14-384
  • 基础模型: Phi-3.5-mini-instruct
  • 下载地址: https://huggingface.co/LLSuzy/EyecareGPT-3.8B

• EyecareGPT-7B:

  • 视觉编码器: siglip-so400m-patch14-384
  • 基础模型: Qwen2.5-VL-7B-Instruct
  • 下载地址: https://huggingface.co/LLSuzy/EyecareGPT-7B

📅 最新动态

• 2025.02.17: 发布预训练权重和Eyecare-100K数据集演示

📜 引用信息

bibtex @misc{li2025eyecaregptboostingcomprehensiveophthalmology, title={EyecareGPT: Boosting Comprehensive Ophthalmology Understanding with Tailored Dataset, Benchmark and Model}, author={Sijing Li and Tianwei Lin and Lingshuai Lin and Wenqiao Zhang and Jiang Liu and Xiaoda Yang and Juncheng Li and Yucheng He and Xiaohui Song and Jun Xiao and Yueting Zhuang and Beng Chin Ooi}, year={2025}, eprint={2504.13650}, archivePrefix={arXiv}, primaryClass={cs.CV}, url={https://arxiv.org/abs/2504.13650}, }

搜集汇总

数据集介绍

构建方式

在眼科医学领域，数据集的构建往往面临多模态影像数据整合的挑战。Eyecare-100K通过创新的多智能体数据引擎技术，系统性地收集了涵盖8种成像模态、15种以上眼部解剖结构和100余种眼疾的真实临床数据。该数据集采用自动化流程将原始医学报告转化为三类结构化视觉问答对：封闭式问答、开放式问答和报告生成任务，最终形成包含约102,000个样本的大规模眼科视觉指令数据集。

特点

作为首个综合性眼科视觉指令数据集，Eyecare-100K展现出显著的领域特性。其核心价值在于覆盖了从常见病到罕见病的全谱系眼科疾病，同时整合了包括眼底照相、OCT等在内的多种临床影像模态。数据集特别注重临床实用性，通过精细标注实现了对眼部解剖结构的细粒度解析，为开发智能诊断系统提供了丰富的语义层次和监督信号。多任务设计的架构使其能同时支持闭卷问答、开放问答和医学报告生成等不同复杂度的应用场景。

使用方法

该数据集主要服务于眼科专用大视觉语言模型的训练与评估。研究人员可通过HuggingFace平台获取预训练权重，包括针对不同计算资源优化的3.8B和7B两种模型规格。使用流程涉及下载视觉编码器SigLIP和基础语言模型Phi-3.5或Qwen2.5的预训练权重，通过标准接口加载多模态输入。数据集特别设计的基准测试套件Eyecare-Bench包含15,000个精选样例，可用于系统评估模型在闭卷问答、开放问答和报告生成三类任务上的临床推理能力。

背景与挑战

背景概述

Eyecare-100K数据集由浙江大学、哈尔滨工业大学、郴州市第一人民医院及新加坡国立大学的研究团队联合开发，旨在推动大型视觉语言模型在眼科医学领域的专业化应用。作为首个综合性眼科视觉指令数据集，其创建于2025年，包含约10.2万组视觉问答对，覆盖8种成像模态、15种以上眼部解剖结构和100余种眼科疾病。该数据集通过多智能体数据引擎构建，支持封闭式问答、开放式问答和报告生成三类任务，为智能眼科诊断研究提供了标准化数据基础，显著提升了模型对复杂眼科影像的解析能力。

当前挑战

构建Eyecare-100K面临双重挑战：领域层面需解决眼科影像的多模态异构性问题，包括不同成像设备的分辨率差异、病灶细微特征捕捉以及跨模态语义对齐；技术层面涉及大规模临床数据的结构化转换，需克服原始报告非标准化、医学术语歧义性等难题。数据集通过自适应分辨率机制和密集特征融合技术应对影像复杂性，但如何平衡高精度诊断需求与模型计算效率仍是持续优化的关键方向。

常用场景

经典使用场景

在眼科医学领域，Eyecare-100K数据集为视觉语言大模型（LVLMs）提供了丰富的多模态眼科图像和对应的视觉问答对。该数据集覆盖了8种成像模态、15种以上的解剖结构和100多种眼疾，使其成为训练和评估眼科专用AI模型的理想选择。经典使用场景包括通过多模态报告生成和细粒度视觉问答任务，提升模型在复杂眼科临床图像中的理解和诊断能力。

解决学术问题

Eyecare-100K解决了眼科医学研究中数据稀缺和多样性不足的问题。通过提供大规模、多样化的视觉问答对，该数据集支持对Med-LVLMs在封闭式问答、开放式问答和报告生成任务中的系统性评估。其高分辨率的视觉特征提取和自适应分辨率机制，显著提升了模型对局部病变的感知能力，为智能眼科诊断研究提供了重要的数据支撑。

衍生相关工作

基于Eyecare-100K数据集，研究团队开发了EyecareGPT模型，该模型通过高分辨率视觉特征提取和自适应分辨率机制，显著提升了在复杂眼科图像中的表现。相关工作还包括Eyecare-Bench基准的建立，为Med-LVLMs在眼科领域的性能评估提供了标准化工具。这些工作共同推动了智能眼科诊断领域的研究进展。