DCAgent2/swebench_verified_random_100_folders_a2_rl_stack_jest_v2_21_20260425_042525

---
dataset_info:
features:
- name: conversations
list:
- name: content
dtype: string
- name: role
dtype: string
- name: agent
dtype: string
- name: model
dtype: string
- name: model_provider
dtype: string
- name: date
dtype: string
- name: task
dtype: string
- name: episode
dtype: string
- name: run_id
dtype: string
- name: trial_name
dtype: string
- name: result
dtype: string
- name: verifier_output
dtype: string
splits:
- name: train
num_bytes: 27754255
num_examples: 300
download_size: 12787861
dataset_size: 27754255
configs:
- config_name: default
data_files:
- split: train
path: data/train-*
---

搜集汇总

数据集介绍

构建方式

本数据集名为swebench_verified_random_100_folders_a2_rl_stack_jest_v2_21_20260425_042525，源自对SWE-bench验证集中随机抽取的100个文件夹进行深度强化学习训练的结果。数据集的构建基于多轮对话交互，每个样本包含完整的对话历史、智能体标识、模型信息及执行结果。通过设计特定的强化学习策略与Jest测试框架结合，系统自动产生并筛选出具有高质量反馈的训练实例，最终汇集成包含300个样本的训练集。

特点

该数据集的核心特点在于其结构化的多字段设计，每条数据不仅记录了对话内容与角色，还保存了智能体类型、模型提供商、运行日期、任务描述、试验编号及验证器输出等元信息。这种丰富的信息层次使得数据具备可追溯性和可复现性，特别适用于训练代码生成与问题修复领域的对话式智能体。此外，数据集以强化学习反馈作为质量标尺，保证了样本在指定任务场景下的有效性。

使用方法

使用者可直接通过HuggingFace数据集库加载默认配置的train分片，利用conversations字段中的role与content对构建对话模型输入。对于需要元信息的场景，可结合model、agent及result字段进行分析或过滤。推荐将该数据集作为代码修复对话智能体的微调数据，或用于评估强化学习策略对对话生成质量的影响。数据以parquet格式存储，便于高效读取与处理。

背景与挑战

背景概述

该数据集名为swebench_verified_random_100_folders_a2_rl_stack_jest_v2_21_20260425_042525，创建于2026年4月25日，由致力于软件工程与强化学习交叉领域的研究团队构建。其核心研究问题聚焦于利用强化学习优化代码生成与调试过程，通过收集智能体（agent）在多轮交互中的对话、任务执行结果及验证器输出，为训练更高效的软件工程自动化模型提供数据支撑。数据集包含300条训练样本，覆盖多种模型与运行环境，推动了代码智能体在复杂软件开发任务中的应用研究，对提升自动化软件维护与错误修复能力具有重要意义。

当前挑战

该数据集面临的核心挑战在于解决软件工程领域中代码生成与调试的自动化难题，即如何使智能体在不确定和动态变化的代码仓库中高效定位并修复错误。构建过程中，挑战包括设计涵盖多样任务场景的验证机制，确保数据质量与任务难度平衡；同时需处理智能体交互日志中的噪声与冗余信息，提取有效的决策路径。此外，跨模型与跨运行环境的一致性评估、以及强化学习策略在真实软件栈中的泛化性，均为构建可靠数据集必须克服的技术难点。

常用场景

经典使用场景

在软件工程与人工智能的交叉领域，SWE-bench验证数据集为评估代码生成模型在真实软件仓库中的修复能力提供了基准。该数据集精选了100个来自SWE-bench的已验证问题实例，每个实例包含完整的软件仓库上下文、问题描述以及对话历史。其经典使用场景在于训练和评估基于大型语言模型的自动化软件修复智能体，通过模拟开发者与代码环境的交互过程，检验模型理解复杂代码库、定位缺陷并生成补丁的能力。

实际应用

在实际软件开发流程中，该数据集可用于构建智能代码审查助手或持续集成中的自动修复模块。开发者可基于此数据微调模型，使其能够自动处理GitHub Issues中的典型缺陷，减轻人工调试负担。此外，在DevOps场景中，它赋能团队快速应对回归错误，通过自动化补丁生成缩短修复周期，提升软件维护效率，尤其适用于大型开源项目的高频迭代维护。

衍生相关工作

该数据集催生了多项前沿研究，如基于强化学习的代码修复策略（如SWE-agent）和交互式调试框架。经典工作包括将代码理解与补丁生成解耦的模块化系统，以及利用多轮对话历史增强模型推理的上下文学习范式。这些衍生工作进一步探索了少样本与零样本场景下的跨仓库泛化能力，为构建通用型软件修复智能体奠定了方法论基础。