internlm/CapRL-2M

CapRL-2M数据集包含来自ShareGPT-1M和DenseFusion-1M的两个图像集合，使用CapRL-3B模型重新注释了高质量的字幕，总计200万个样本。该数据集适用于图像字幕任务，特别是CapRL-3B模型能够生成具有良好组织结构、详细描述自然图像的字幕。

The CapRL-2M dataset includes two sets of images from ShareGPT-1M and DenseFusion-1M, with high-quality captions re-annotated using the CapRL-3B model, totaling 2M samples. This dataset is suitable for image captioning tasks, especially as the CapRL-3B model is capable of generating captions with good organizational structure and detailed descriptions of natural images.

搜集汇总

数据集介绍

构建方式

CapRL-2M数据集融合了来自ShareGPT-1M与DenseFusion-1M两大图像来源的样本，并利用CapRL-3B模型对全部图像进行了高质量描述的重标注，最终构建出包含约200万条图文对的大规模数据集。数据以JSONL格式存储，每条记录包含描述文本及其对应的图像路径，图像文件则需从原始数据源独立下载。这一构建策略在充分复用既有视觉数据的基础上，通过强化学习驱动的标注模型显著提升了描述文本的丰富度与准确性。

使用方法

CapRL-2M数据集主要服务于图像描述模型的训练与微调。使用者需首先从ShareGPT-1M和DenseFusion-1M下载对应的图像文件，随后依据JSONL文件中的图像路径与文本内容构建训练数据。该数据集特别适用于结合强化学习与可验证奖励机制的训练范式，能够有效引导模型生成超越固定标注集的多样化描述，从而提升模型在开放式图像理解任务上的表现。

背景与挑战

背景概述

图像描述生成是连接视觉与语言的核心任务，旨在让机器自动为图像生成准确且富有语义的文本描述。近年来，大语言模型与视觉模型的深度融合显著提升了这一领域的能力，但传统监督微调方法受限于标注数据的多样性和质量，模型往往倾向于记忆有限数量的标准描述，难以生成开放域中丰富且具有创造性的内容。在此背景下，上海人工智能实验室（InternLM）团队于2025年首次提出将可验证奖励的强化学习应用于图像描述任务，并发布了CapRL系列模型与配套数据集。其中，CapRL-2M数据集作为CapRL-1.0系列的核心资源，整合了来自ShareGPT-1M和DenseFusion-1M的200万张图像，并由CapRL-3B模型重新生成了高质量描述，为探索强化学习驱动的图像描述生成提供了坚实基础。该数据集的发布不仅推动了轻量级描述模型性能的跃升（如3B参数模型达到72B模型的感知水平），也为后续多模态理解研究树立了新的标杆。

当前挑战

CapRL-2M数据集所面临的挑战主要体现在两个层面。在领域问题层面，图像描述任务本质上具有开放性与主观性，传统监督学习难以覆盖视觉信息中隐含的丰富语义与多样表达，模型容易产生幻觉或遗漏关键细节，而强化学习范式虽能拓展生成多样性，却对奖励信号的准确性与鲁棒性提出了极高要求。在数据集构建过程中，挑战尤为突出：首先，从两个来源整合200万图像时，需确保描述风格与质量的统一性，避免因源数据差异引入噪声；其次，依赖CapRL-3B模型进行重新标注，虽提升了描述质量，但模型本身的偏差可能被放大至整个数据集；此外，描述与图像路径的对应管理、大规模数据的一致性校验，以及为后续强化学习训练准备的75K高质量问答对筛选，均构成了工程与算法层面的双重难题。

常用场景

经典使用场景

CapRL-2M数据集的经典使用场景在于为多模态大语言模型（LVLM）提供高质量的图像描述训练数据。该数据集整合了ShareGPT-1M与DenseFusion-1M的图像资源，并利用CapRL-3B模型重新标注了精细化的描述文本，涵盖图表、信息图、文档及自然图像等多种视觉内容。研究者可借助此数据集对模型进行监督微调（SFT），显著提升模型在复杂视觉场景下的感知精度与描述丰富度，尤其适用于训练轻量级但性能卓越的图像描述生成器。

解决学术问题

在学术研究中，CapRL-2M解决了传统图像描述数据集标注质量参差不齐、描述内容单一且缺乏泛化性的核心瓶颈。通过引入基于可验证奖励的强化学习（RLVR）训练范式，该数据集突破了监督微调（SFT）导致的模型记忆局限，使模型能够生成更具创造性与多样性的描述。它推动了开放性与主观性图像描述任务的研究进展，为探索如何在有限参数下实现媲美大模型的视觉感知能力提供了关键数据支撑，显著提升了多模态理解领域的评测基准。

实际应用

在实际应用中，CapRL-2M赋能了多种场景下的自动化图像理解系统。例如，在辅助视觉障碍人士的场景中，模型可生成结构清晰、细节丰富的图像描述，帮助用户感知环境信息；在内容审核与媒体管理领域，该数据集训练的模型能精准识别图表与文档中的关键信息，实现高效的自动化标注与检索。此外，其轻量级特性使其易于部署于边缘设备，为实时图像分析、智能教育辅导与无障碍交互等应用提供了可靠的技术基础。

数据集最近研究

最新研究方向

CapRL-2M数据集的最新研究方向聚焦于将强化学习与可验证奖励机制引入图像描述生成任务，突破了传统监督微调中模型对有限标注记忆的局限。该数据集整合了ShareGPT-1M与DenseFusion-1M的200万张图像，并采用CapRL-3B模型重新标注高质量描述，为多模态大语言模型在图表、信息图、文档及自然图像上的细粒度视觉理解提供了关键训练资源。相关研究热点包括通过解耦的两阶段流程（先由LVLM生成丰富描述，再借助纯视觉LLM进行问答评估）来提升描述的准确性与创造性。这一方向不仅推动了轻量级模型（如3B参数）在感知能力上匹敌72B大模型，还通过开源75K训练集和QA策划代码，促进了社区在自动化图像标注与视觉信息覆盖评估方面的探索，对降低幻觉率和优化输出结构具有重要影响。