Luwayy/SWE-bench_Lite

SWE-bench Lite是SWE-bench数据集的一个子集，用于评估系统自动解决GitHub issues的能力。该数据集收集了来自11个流行的Python库的300个测试Issue-Pull Request对。数据集包括问题陈述（issue text）和基础提交（base commit），这些信息代表了在问题解决之前的代码库状态。

SWE-bench Lite is a subset of the SWE-bench dataset, designed to evaluate the ability of systems to automatically resolve GitHub issues. The dataset consists of 300 test Issue-Pull Request pairs from 11 popular Python libraries. It includes the problem statement (issue text) and the base commit, representing the state of the codebase before the issue has been resolved.

搜集汇总

数据集介绍

构建方式

在软件工程与自然语言处理交叉领域，SWE-bench_Lite数据集作为SWE-bench的精简版本，专注于评估语言模型自动解决GitHub问题的能力。该数据集从11个广受欢迎的Python仓库中精心挑选了300个测试样例，每个样例对应一个Issue-Pull Request对。构建过程严格遵循后PR行为作为参考解的单元测试验证范式，确保评估的客观性与准确性。数据实例包含丰富的结构化信息，如仓库标识、基础提交哈希、问题描述文本、黄金补丁及测试补丁等，为模型提供了完整的代码库状态与问题上下文。

特点

该数据集的核心特点在于其针对现实世界软件维护任务的挑战性设计。每个实例不仅包含问题陈述（problem_statement）和代码库初始状态（base_commit），还提供了单元测试集（FAIL_TO_PASS与PASS_TO_PASS）用于精准衡量修复效果。数据规模适中，开发集23例、测试集300例，既降低了算力门槛又保持了统计显著性。此外，数据集保留环境设置提交哈希（environment_setup_commit）和版本信息，支持可复现的评估流程，而提示文本（hints_text）的加入则模拟了真实协作场景中的额外线索。

使用方法

使用该数据集时，研究者需基于给定的基础提交哈希构建代码库快照，随后利用问题陈述作为输入，驱动语言模型生成修复补丁。评估阶段通过执行预定义的单元测试集，对比模型输出与黄金补丁的测试通过率。为增强检索能力，推荐配合Oracle或BM25检索设置的数据集版本使用，如princeton-nlp/SWE-bench_Lite_oracle。数据集采用标准HuggingFace格式，可通过简单的API调用加载，并支持自定义推理流程与排行榜提交，便于系统化评估模型在真实软件工程任务中的表现。

背景与挑战

背景概述

SWE-bench Lite数据集由普林斯顿大学自然语言处理实验室于2023年发布，源自其旗舰工作《SWE-bench: Can Language Models Resolve Real-World GitHub Issues?》。该数据集聚焦于评估语言模型在真实世界软件工程任务中的能力，特别是自动解决GitHub仓库中提交的issue。它精选了300个来自11个流行Python开源项目的Issue-Pull Request对，通过后PR行为作为参考，利用单元测试验证系统生成的补丁是否正确。SWE-bench Lite的提出，为衡量大型语言模型在代码理解、调试与修复方面的综合性能树立了标杆，推动了AI辅助软件开发领域的研究进展。

当前挑战

当前，SWE-bench Lite数据集面临的核心挑战在于如何准确评估模型在复杂软件工程环境中的泛化能力。首先，该领域问题要求模型不仅理解自然语言描述的issue，还需在庞大的代码库中定位问题根源并生成可运行的补丁，这对模型的上下文理解和代码生成精度提出了极高要求。其次，构建过程中，数据集的创建需要从GitHub上筛选高质量的Issue-PR对，确保补丁与问题的相关性，并排除测试代码的干扰，这一过程涉及大量人工审核与自动化验证的平衡。此外，不同仓库的依赖环境、提交历史和测试套件差异，使得评估标准化和可复现性成为持续挑战。

常用场景

经典使用场景

在软件工程与自然语言处理的交叉领域中，SWE-bench_Lite被广泛用于评估大语言模型在真实世界GitHub问题上的自动修复能力。该数据集精选了来自11个流行Python仓库的300个Issue-Pull Request对，每个样本包含问题描述、基础代码库提交哈希及验证单元测试。研究者通过将模型生成的补丁与参考解决方案进行单元测试验证，量化系统在复杂代码环境下的语义理解与代码生成水平，成为衡量代码智能体任务解决能力的标杆基准。

实际应用

在实际工程场景中，该数据集驱动的模型可应用于自动化缺陷修复流水线，辅助开发者快速定位并解决代码库中的功能性错误。基于SWE-bench_Lite训练的检索增强生成系统，能够结合BM25或Oracle检索策略从仓库历史中提取相关上下文，生成符合项目编码规范的补丁。这种能力在持续集成环境中尤为关键，可显著缩短从问题报告到补丁提交的周期，降低人工代码审查负担，提升大型开源项目的维护效率。

衍生相关工作

该数据集催生了多项突破性工作，例如princeton-nlp提出的SWE-agent框架，通过将语言模型与代码执行环境深度耦合，在SWE-bench_Lite上实现了15%以上的解决率提升。后续研究者还构建了Oracle与BM25检索增强版本（如princeton-nlp/SWE-bench_Lite_oracle），系统探索了上下文检索质量对修复性能的影响。此外，SWE-bench_Lite被广泛用作代码智能体评估的核心组件，推动了从补丁生成到多轮调试等子任务的联合研究进展。