DCAgent/eval-swebench-verified-random-100-folders__rl__40GPU_base_32b__ctx32k_non_it_16x_eval_

---
dataset_info:
features:
- name: conversations
list:
- name: content
dtype: string
- name: role
dtype: string
- name: agent
dtype: string
- name: model
dtype: string
- name: model_provider
dtype: string
- name: date
dtype: string
- name: task
dtype: string
- name: episode
dtype: string
- name: run_id
dtype: string
- name: trial_name
dtype: string
- name: result
dtype: string
- name: verifier_output
dtype: string
- name: trace_source
dtype: string
splits:
- name: train
num_bytes: 152808549
num_examples: 1559
download_size: 38204694
dataset_size: 152808549
configs:
- config_name: default
data_files:
- split: train
path: data/train-*
---

搜集汇总

数据集介绍

构建方式

在软件工程领域，eval-swebench-verified-random-100-folders__rl__40GPU_base_32b__ctx32k_non_it_16x_eval_数据集通过系统化的评估流程构建而成。其核心方法涉及从随机选择的100个文件夹中抽取任务，并采用强化学习框架在40个GPU的算力基础上，结合32k上下文长度与非迭代式训练策略，生成多轮对话记录。每个数据样本均包含完整的对话轨迹、代理行为、模型输出及验证结果，确保了数据来源的多样性与评估过程的严谨性。

特点

该数据集展现了高度结构化的特征，涵盖对话内容、角色分配、模型提供商、任务标识及验证输出等多个维度。其独特之处在于整合了强化学习环境下的交互轨迹，并附带详细的运行元数据，如试验名称、结果状态和追溯来源。这种设计不仅支持对模型在复杂软件工程任务中的表现进行深度分析，还提供了可复现的评估基准，适用于多智能体系统与代码生成领域的研究。

使用方法

研究人员可利用该数据集进行模型性能评估与行为分析。通过加载训练分割中的对话序列与元数据，可以重构智能体在特定任务中的决策过程，并依据验证输出衡量任务完成度。典型应用包括对比不同模型在软件修复任务中的有效性，或探究强化学习策略在长上下文环境中的适应性。数据集的结构化格式便于直接集成到现有评估管道，支持自动化指标计算与可视化分析。

背景与挑战

背景概述

eval-swebench-verified-random-100-folders__rl__40GPU_base_32b__ctx32k_non_it_16x_eval_数据集聚焦于软件工程领域的智能代码生成与评估任务，其创建旨在通过强化学习框架，系统性地测试大型语言模型在真实编程环境中的性能。该数据集由相关研究机构或团队构建，核心研究问题涉及如何准确衡量模型在复杂代码修复、功能实现等任务上的自动化能力，以推动人工智能在软件开发辅助工具中的应用。其影响力在于为代码生成模型的基准测试提供了标准化、可验证的评估场景，促进了该领域从理论到实践的过渡。

当前挑战

该数据集所解决的领域问题挑战在于，软件工程任务通常具有高度复杂性和上下文依赖性，要求模型不仅理解代码语法，还需掌握项目结构、依赖关系及功能逻辑，这导致评估过程易受模糊性或噪声干扰。构建过程中的挑战则体现在数据收集与验证环节，需要从真实开源项目中提取多样化、高质量的编程任务，并确保每个样本的准确标注与可复现性，同时处理大规模计算资源需求，以维持评估的效率和可靠性。

常用场景

经典使用场景

在软件工程与人工智能交叉领域，eval-swebench-verified-random-100-folders数据集为评估大型语言模型在代码修复任务中的性能提供了标准化基准。该数据集通过模拟真实软件开发环境中的错误修复场景，要求模型基于对话历史与任务描述，生成或验证代码修改方案，从而测试模型在复杂、动态上下文中的推理与执行能力。这一场景广泛应用于模型能力对比与迭代优化，为研究社区提供了可重复、可比较的实验框架。

实际应用

在实际软件开发流程中，该数据集支撑的评估框架可直接应用于构建智能编程工具，例如集成开发环境中的自动错误检测与修复插件、持续集成系统中的代码审查助手等。通过利用模型在数据集上展现的代码理解与生成能力，开发者能够实现部分编程任务的自动化，减少人工调试时间，提升软件质量与开发效率。此外，它还可用于培训与校准面向专业开发者的AI协作系统，推动人机协同编程模式的落地与优化。

衍生相关工作

围绕该数据集，研究社区已衍生出多项经典工作，包括基于强化学习的代码修复策略优化、多模态上下文编码架构的设计，以及针对长序列代码任务的注意力机制改进。这些工作不仅扩展了数据集的用途，如将其适配于增量学习、对抗性测试等新场景，还催生了如SWE-bench等更广泛的评估基准。同时，相关研究促进了代码语言模型预训练与微调技术的进步，为软件工程领域的AI应用奠定了方法论基础。