sciegqa-grpo

Hugging Face2026-06-12 更新2026-06-13 收录

下载链接：

https://huggingface.co/datasets/PassionPrc/sciegqa-grpo

下载链接

链接失效反馈

官方服务：

资源简介：

SciEGQA-GRPO是一个用于基于证据的问答和边界框定位任务的单页数据集，专为在SLIME框架上进行基于策略梯度的强化学习训练而构建。该数据集由SciEGQA-Train数据集转换而来，通过筛选仅保留证据完全位于单个页面内的样本，原始30,780个样本被过滤至19,180个样本。数据以JSON Lines格式存储，总体积约为22GB。每个样本包含六个核心字段：problem字段提供包含指令、图像占位符和问题模板的问答任务提示；problem_iou字段提供要求模型输出证据区域边界框的定位任务提示，格式为[x1, y1, x2, y2]；answer字段是包裹在oxed{}中的真实答案；images字段是一个包含单页图像base64数据URI的列表；prefix字段是一个保留给PrefixRL的空字符串；bbox字段是证据边界框的真实坐标，使用千分比进行归一化，范围在0到1000之间，表示左上角(x1, y1)和右下角(x2, y2)。该数据集适用于多模态问答和视觉证据定位的联合训练与评估。数据覆盖计算机科学、经济学、电气工程与系统科学、数学、物理学、定量生物学、定量金融、统计学等多个科学领域，所有证据类型均为图像（如图表、表格或文本区域）。数据集包含7,919个唯一的页面图像，平均每个图像对应2.4个问题。

SciEGQA-GRPO is a single-page dataset designed for evidence-grounded question answering (EGQA) and bounding box localization tasks, specifically built for GRPO (policy gradient-based reinforcement learning) training on the SLIME framework. It is converted from the SciEGQA-Train dataset, by filtering to retain only samples where the evidence is entirely contained within a single page, reducing the original 30,780 samples to 19,180. The dataset is stored in JSON Lines format, with a total size of approximately 22 GB. Each sample includes six core fields: 1. The `problem` field: provides the question answering task prompt containing instructions, image placeholders, and question templates; 2. The `problem_iou` field: provides the localization task prompt requiring the model to output the bounding box of the evidence region, formatted as `[x1, y1, x2, y2]`; 3. The `answer` field: the ground-truth answer wrapped in `oxed{}`; 4. The `images` field: a list containing base64 data URIs of single-page images; 5. The `prefix` field: an empty string reserved for PrefixRL; 6. The `bbox` field: the ground-truth coordinates of the evidence bounding box, normalized using permille (ranging from 0 to 1000), representing the top-left (x1, y1) and bottom-right (x2, y2) corners. This dataset is suitable for joint training and evaluation of multimodal question answering and visual evidence localization. The data covers multiple scientific domains including computer science (cs), economics (econ), electrical engineering and systems science (eess), mathematics (math), physics (physics), quantitative biology (q-bio), quantitative finance (q-fin), statistics (stat), and more. All evidence types are images such as charts, tables, or text regions. The dataset contains 7,919 unique page images, with an average of 2.4 questions per image.

创建时间：

2026-06-11

原始信息汇总

数据集概述

数据集名称: SciEGQA-GRPO

描述: 基于 SciEGQA-Train 转换而来，专为 SLIME 框架上的 GRPO 强化学习训练设计。仅保留证据位于单一页面上的样本。

数据筛选

原始样本数：30,780 条
筛选后样本数：19,180 条
筛选条件：移除证据分布于多页面的样本，仅保留单页面证据样本

数据格式

文件: train.jsonl（大小：22 GB）

每行为一个 JSON 对象，包含以下字段：

字段	类型	描述
`problem`	`str`	QA 任务的提示词：包含指令、`<image>`、问题文本和 `Answer:`
`problem_iou`	`str`	Bbox 定位任务的提示词：要求模型输出证据边界框，格式为 `[x1, y1, x2, y2]`（0-1000）
`answer`	`str`	真实答案，包裹在 `oxed{}` 中。用于配置 `--rm-type boxed_em`
`images`	`list[str]`	单元素列表，包含页面图像的 base64 data URI，例如 `"data:image/png;base64,..."`
`prefix`	`str`	空字符串 `""`。为 PrefixRL 预留，不使用 `--partial-rollout` 时忽略
`bbox`	`list[float]`	证据边界框，采用千分比坐标（0-1000）：`[x1, y1, x2, y2]`。对应 `problem_iou` 的真实值

边界框坐标说明

bbox 使用千分比坐标，归一化范围为 0-1000：

x1, y1：左上角坐标
x2, y2：右下角坐标

像素转换公式：

px_x1 = bbox[0] / 1000 * image_width px_y1 = bbox[1] / 1000 * image_height px_x2 = bbox[2] / 1000 * image_width px_y2 = bbox[3] / 1000 * image_height

与 SLIME 框架的配合使用

bash --prompt-data /path/to/train.jsonl --input-key problem --label-key answer --apply-chat-template --multimodal-keys {"image": "images"} --rm-type boxed_em

对于 bbox 定位奖励，需要自定义奖励模块，同时评估答案精确匹配（EM）和边界框交并比（IoU）。

数据统计

样本总数: 19,180 条
唯一页面图像数: 7,919 张
平均每张页面图像的问题数: 约 2.4 个
学科类别: cs, econ, eess, math, physics, q-bio, q-fin, stat
证据类型: image（源自原始数据集标注）

数据来源

论文: SciEGQA: A Dataset for Scientific Evidence-Grounded Question Answering and Reasoning
源数据集: Yuwh07/SciEGQA-Train

搜集汇总

数据集介绍

构建方式

SciEGQA-GRPO数据集源自SciEGQA-Train，经过精细筛选，仅保留证据位于单一页面内的样本，剔除了多页证据的复杂样本。原始数据集的30,780条样本经此过滤后压缩至19,180条，确保了每条问答对均紧密关联于单页文档图像。每个样本以JSON格式存储于train.jsonl文件中，包含用于问答任务的problem字段、用于边界框定位的problem_iou字段、以\boxed{}封装的真实答案、以base64编码的页面图像列表、以及表示证据区域的千分比坐标边界框。这一构建方式旨在适配GRPO强化学习框架，为模型提供结构统一、证据明确的训练数据。

特点

该数据集的核心特点在于其专为单页证据问答与定位任务设计，共包含19,180个样本，涵盖计算机科学、经济学、电气工程、数学、物理学、定量生物学、金融学及统计学等八大科学领域。平均每张页面图像承载2.4个问题，所有证据类型均为图像格式。数据集中每个样本均提供了两套提示：problem用于文本问答，要求模型基于文档图像给出简短答案；problem_iou用于边界框定位，要求模型输出证据区域的坐标。这种双任务设计使该数据集不仅能够评估模型的问答能力，还能检验其在文档中定位关键证据的空间理解力。

使用方法

使用SciEGQA-GRPO数据集需借助SLIME框架。在模型训练时，通过--prompt-data指定train.jsonl路径，以--input-key problem和--label-key answer配置问答任务的输入输出键，并启用--apply-chat-template及--multimodal-keys以处理图像模态。若需同时优化边界框定位，则需自定义奖励模块，综合评估答案的精确匹配（exact match）与边界框的交并比（IoU）。用户也可分别利用problem与problem_iou字段进行单一任务训练，或结合二者实现多任务强化学习。数据集的标准化格式与图像坐标转换规则（千分比至像素）确保了其在各类视觉语言模型中的即插即用性。

背景与挑战

背景概述

随着大语言模型与多模态推理能力的飞速发展，如何使模型在科学文献场景下实现基于证据的精准问答成为关键研究方向。SciEGQA-GRPO数据集应运而生，其源自2025年提出的SciEGQA数据集，由Yu等人构建并发表于arXiv（2511.15090），旨在推动科学证据支撑的问答与推理。该数据集专门为基于GRPO强化学习框架的SLIME系统进行了精简改造，从原始30780个样本中筛选出仅含单页证据的19180条高质量样本，覆盖计算机科学、经济学、数学、物理学等多学科领域。其核心研究问题聚焦于如何让模型不仅能回答问题，更能定位答案所依据的证据区域，从而增强模型在科学文献理解中的可解释性与可信度。该数据集在学术领域内具有重要影响力，为多模态强化学习训练提供了标准化基准。

当前挑战

SciEGQA-GRPO所解决的领域核心挑战在于，传统视觉问答任务多忽略答案背后的证据支撑，导致模型在科学文献等严肃场景下缺乏可验证性。该数据集通过要求模型同时输出答案与证据边界框，迫使模型具备精细的图文对齐与空间定位能力。在构建过程中，主要挑战包括：原始数据中大量样本的证据分布在多页文档中，这给单页证据定位带来了极大困难，需通过严格过滤仅保留单页证据样本；同时，需将证据边界框转为千分比坐标以确保跨页面尺寸的一致性，并设计两种不同提示策略分别驱动答案生成与边界框回归任务。此外，数据集规模缩减近40%后仍需维持多学科覆盖与每页图像平均2.4个问题的密度，对数据平衡与质量保障提出了较高要求。

常用场景

经典使用场景

SciEGQA-GRPO数据集专为单页证据驱动的科学问答任务而构建，其经典使用场景聚焦于多模态大语言模型在科学文献理解与推理中的训练与评估。该数据集精选了19,180个样本，每个样本均提供科学文献页面图像、基于图像的问答任务以及证据区域的边界框标注。研究者可借此训练模型执行两项核心任务：一是根据图像内容回答科学问题，二是定位支撑答案的视觉证据区域。这种设计使其成为检验模型在科学文献中同时进行信息检索与推理能力的理想基准。

衍生相关工作

围绕SciEGQA-GRPO数据集，学术界已衍生出多项具有代表性的研究路径。其一，基于其独特的问题-证据双任务设计，催生了针对多模态大模型在联合问答与边界框预测任务上的统一训练框架，如SLIME平台上的GRPO强化学习方法，通过boxed_em与bbox IoU奖惩机制，显著提升了模型的定位与回答一致性。其二，该数据集的单页证据特性激发了针对科学文档结构化理解的研究方向，包括页面布局分析与跨模态对齐的模型设计。此外，该数据集还被用作判别性评估基准，用于衡量多模态推理模型中证据可追溯性的优劣，推动了诸如指令微调与多模态检索增强生成技术的演进。

数据集最近研究