silverlabs/swebench_test_with_pr_metadata

--- license: mit dataset_info: features: - name: repo dtype: string - name: instance_id dtype: string - name: base_commit dtype: string - name: patch dtype: string - name: test_patch dtype: string - name: problem_statement dtype: string - name: hints_text dtype: string - name: created_at dtype: string - name: version dtype: string - name: FAIL_TO_PASS dtype: string - name: PASS_TO_PASS dtype: string - name: environment_setup_commit dtype: string - name: merge_time dtype: string - name: merge_commit dtype: string - name: pull_request_md dtype: string splits: - name: test num_bytes: 85996204 num_examples: 2294 download_size: 18692777 dataset_size: 85996204 configs: - config_name: default data_files: - split: test path: data/test-* ---许可证：MIT 数据集信息： 特征字段： - 字段名：代码仓库（repo），数据类型：字符串 - 字段名：实例ID（instance_id），数据类型：字符串 - 字段名：基准提交（base_commit），数据类型：字符串 - 字段名：代码补丁（patch），数据类型：字符串 - 字段名：测试补丁（test_patch），数据类型：字符串 - 字段名：问题描述（problem_statement），数据类型：字符串 - 字段名：提示文本（hints_text），数据类型：字符串 - 字段名：创建时间（created_at），数据类型：字符串 - 字段名：版本号（version），数据类型：字符串 - 字段名：失败转通过（FAIL_TO_PASS），数据类型：字符串 - 字段名：通过转通过（PASS_TO_PASS），数据类型：字符串 - 字段名：环境配置提交（environment_setup_commit），数据类型：字符串 - 字段名：合并时间（merge_time），数据类型：字符串 - 字段名：合并提交（merge_commit），数据类型：字符串 - 字段名：拉取请求Markdown文档（pull_request_md），数据类型：字符串 数据集划分： - 划分名称：测试集（test），字节占用：85996204，样本数量：2294 下载大小：18692777 数据集总大小：85996204 配置项： - 配置名称：默认配置（default），数据文件： - 划分：测试集（test），文件路径：data/test-*

原始信息汇总

数据集概述

数据集特征

• repo: 字符串类型
• instance_id: 字符串类型
• base_commit: 字符串类型
• patch: 字符串类型
• test_patch: 字符串类型
• problem_statement: 字符串类型
• hints_text: 字符串类型
• created_at: 字符串类型
• version: 字符串类型
• FAIL_TO_PASS: 字符串类型
• PASS_TO_PASS: 字符串类型
• environment_setup_commit: 字符串类型
• merge_time: 字符串类型
• merge_commit: 字符串类型
• pull_request_md: 字符串类型

数据集大小

• 下载大小: 18692777 字节
• 数据集大小: 85996204 字节

数据集分割

• 分割名称: test
• 字节数: 85996204 字节
• 示例数: 2294

配置

• 配置名称: default
• 数据文件路径: data/test-*