bigcode/bigcodebench-instruct-perf

---
dataset_info:
features:
- name: task_id
dtype: string
- name: status
dtype: int64
splits:
- name: Magicoder_S_DS_6.7B
num_bytes: 31950
num_examples: 1140
- name: StarCoder2_15B_Instruct_v0.1
num_bytes: 31950
num_examples: 1140
- name: CodeGemma_7B_Instruct
num_bytes: 31950
num_examples: 1140
- name: GPT_3.5_Turbo_0125
num_bytes: 31950
num_examples: 1140
- name: GPT_4o_2024_05_13
num_bytes: 31950
num_examples: 1140
- name: GPT_4_Turbo_2024_04_09
num_bytes: 31950
num_examples: 1140
- name: GPT_4_0613
num_bytes: 31950
num_examples: 1140
- name: CodeLlama_7B_Instruct
num_bytes: 31950
num_examples: 1140
- name: CodeLlama_13B_Instruct
num_bytes: 31950
num_examples: 1140
- name: Mistral_Large_2402
num_bytes: 31950
num_examples: 1140
- name: Mistral_Small_2402
num_bytes: 31950
num_examples: 1140
- name: Mixtral_8x22B_Instruct
num_bytes: 31950
num_examples: 1140
- name: CodeLlama_34B_Instruct
num_bytes: 31950
num_examples: 1140
- name: CodeLlama_70B_Instruct
num_bytes: 31950
num_examples: 1140
- name: CodeQwen1.5_7B_Chat
num_bytes: 31950
num_examples: 1140
- name: Qwen1.5_110B_Chat
num_bytes: 31950
num_examples: 1140
- name: Qwen1.5_72B_Chat
num_bytes: 31950
num_examples: 1140
- name: Qwen1.5_32B_Chat
num_bytes: 31950
num_examples: 1140
- name: DeepSeek_V2_Chat
num_bytes: 31950
num_examples: 1140
- name: DeepSeek_Coder_1.3B_Instruct
num_bytes: 31950
num_examples: 1140
- name: DeepSeek_Coder_33B_Instruct
num_bytes: 31950
num_examples: 1140
- name: DeepSeek_Coder_6.7B_Instruct
num_bytes: 31950
num_examples: 1140
- name: Llama_3_70B_Instruct
num_bytes: 31950
num_examples: 1140
- name: Llama_3_8B_Instruct
num_bytes: 31950
num_examples: 1140
- name: Granite_Code_20B_Instruct
num_bytes: 31950
num_examples: 1140
- name: Granite_Code_34B_Instruct
num_bytes: 31950
num_examples: 1140
- name: Claude_3_Haiku_20240307
num_bytes: 31950
num_examples: 1140
- name: Claude_3_Sonnet_20240229
num_bytes: 31950
num_examples: 1140
- name: Claude_3_Opus_20240229
num_bytes: 31950
num_examples: 1140
- name: Yi_1.5_34B_Chat
num_bytes: 31950
num_examples: 1140
- name: Yi_1.5_9B_Chat
num_bytes: 31950
num_examples: 1140
- name: Yi_1.5_6B_Chat
num_bytes: 31950
num_examples: 1140
- name: Qwen2_57B_A14B
num_bytes: 31950
num_examples: 1140
- name: Qwen2_7B_Instruct
num_bytes: 31950
num_examples: 1140
- name: Qwen2_72B_Chat
num_bytes: 31950
num_examples: 1140
- name: Gemini_1.5_Pro_API_0514
num_bytes: 31950
num_examples: 1140
- name: Gemini_1.5_Flash_API_0514
num_bytes: 31950
num_examples: 1140
- name: OpenCodeInterpreter_DS_6.7B
num_bytes: 31950
num_examples: 1140
- name: OpenCodeInterpreter_DS_1.3B
num_bytes: 31950
num_examples: 1140
- name: Phi_3_medium_128k_instruct
num_bytes: 31950
num_examples: 1140
- name: Phi_3_small_128k_instruct
num_bytes: 31950
num_examples: 1140
- name: Mistral_7B_Instruct_v0.3
num_bytes: 31950
num_examples: 1140
- name: Command_R_plus
num_bytes: 31950
num_examples: 1140
- name: DeepSeek_Coder_V2_Instruct
num_bytes: 31950
num_examples: 1140
- name: DeepSeek_Coder_V2_Lite_Instruct
num_bytes: 31950
num_examples: 1140
- name: Claude_3.5_Sonnet_20240620
num_bytes: 31950
num_examples: 1140
- name: Hermes_2_Theta_Llama_3_70B
num_bytes: 31950
num_examples: 1140
- name: WaveCoder_Ultra_6.7B
num_bytes: 31950
num_examples: 1140
- name: Gemma_2_9B_Instruct
num_bytes: 31950
num_examples: 1140
- name: AutoCoder
num_bytes: 31950
num_examples: 1140
- name: AutoCoder_S_6.7B
num_bytes: 31950
num_examples: 1140
- name: AutoCoder_QW_7B
num_bytes: 31950
num_examples: 1140
download_size: 482294
dataset_size: 1661400
configs:
- config_name: default
data_files:
- split: Magicoder_S_DS_6.7B
path: data/Magicoder_S_DS_6.7B-*
- split: StarCoder2_15B_Instruct_v0.1
path: data/StarCoder2_15B_Instruct_v0.1-*
- split: CodeGemma_7B_Instruct
path: data/CodeGemma_7B_Instruct-*
- split: GPT_3.5_Turbo_0125
path: data/GPT_3.5_Turbo_0125-*
- split: GPT_4o_2024_05_13
path: data/GPT_4o_2024_05_13-*
- split: GPT_4_Turbo_2024_04_09
path: data/GPT_4_Turbo_2024_04_09-*
- split: GPT_4_0613
path: data/GPT_4_0613-*
- split: CodeLlama_7B_Instruct
path: data/CodeLlama_7B_Instruct-*
- split: CodeLlama_13B_Instruct
path: data/CodeLlama_13B_Instruct-*
- split: Mistral_Large_2402
path: data/Mistral_Large_2402-*
- split: Mistral_Small_2402
path: data/Mistral_Small_2402-*
- split: Mixtral_8x22B_Instruct
path: data/Mixtral_8x22B_Instruct-*
- split: CodeLlama_34B_Instruct
path: data/CodeLlama_34B_Instruct-*
- split: CodeLlama_70B_Instruct
path: data/CodeLlama_70B_Instruct-*
- split: CodeQwen1.5_7B_Chat
path: data/CodeQwen1.5_7B_Chat-*
- split: Qwen1.5_110B_Chat
path: data/Qwen1.5_110B_Chat-*
- split: Qwen1.5_72B_Chat
path: data/Qwen1.5_72B_Chat-*
- split: Qwen1.5_32B_Chat
path: data/Qwen1.5_32B_Chat-*
- split: DeepSeek_V2_Chat
path: data/DeepSeek_V2_Chat-*
- split: DeepSeek_Coder_1.3B_Instruct
path: data/DeepSeek_Coder_1.3B_Instruct-*
- split: DeepSeek_Coder_33B_Instruct
path: data/DeepSeek_Coder_33B_Instruct-*
- split: DeepSeek_Coder_6.7B_Instruct
path: data/DeepSeek_Coder_6.7B_Instruct-*
- split: Llama_3_70B_Instruct
path: data/Llama_3_70B_Instruct-*
- split: Llama_3_8B_Instruct
path: data/Llama_3_8B_Instruct-*
- split: Granite_Code_20B_Instruct
path: data/Granite_Code_20B_Instruct-*
- split: Granite_Code_34B_Instruct
path: data/Granite_Code_34B_Instruct-*
- split: Claude_3_Haiku_20240307
path: data/Claude_3_Haiku_20240307-*
- split: Claude_3_Sonnet_20240229
path: data/Claude_3_Sonnet_20240229-*
- split: Claude_3_Opus_20240229
path: data/Claude_3_Opus_20240229-*
- split: Yi_1.5_34B_Chat
path: data/Yi_1.5_34B_Chat-*
- split: Yi_1.5_9B_Chat
path: data/Yi_1.5_9B_Chat-*
- split: Yi_1.5_6B_Chat
path: data/Yi_1.5_6B_Chat-*
- split: Qwen2_57B_A14B
path: data/Qwen2_57B_A14B-*
- split: Qwen2_7B_Instruct
path: data/Qwen2_7B_Instruct-*
- split: Qwen2_72B_Chat
path: data/Qwen2_72B_Chat-*
- split: Gemini_1.5_Pro_API_0514
path: data/Gemini_1.5_Pro_API_0514-*
- split: Gemini_1.5_Flash_API_0514
path: data/Gemini_1.5_Flash_API_0514-*
- split: OpenCodeInterpreter_DS_6.7B
path: data/OpenCodeInterpreter_DS_6.7B-*
- split: OpenCodeInterpreter_DS_1.3B
path: data/OpenCodeInterpreter_DS_1.3B-*
- split: Phi_3_medium_128k_instruct
path: data/Phi_3_medium_128k_instruct-*
- split: Phi_3_small_128k_instruct
path: data/Phi_3_small_128k_instruct-*
- split: Mistral_7B_Instruct_v0.3
path: data/Mistral_7B_Instruct_v0.3-*
- split: Command_R_plus
path: data/Command_R_plus-*
- split: DeepSeek_Coder_V2_Instruct
path: data/DeepSeek_Coder_V2_Instruct-*
- split: DeepSeek_Coder_V2_Lite_Instruct
path: data/DeepSeek_Coder_V2_Lite_Instruct-*
- split: Claude_3.5_Sonnet_20240620
path: data/Claude_3.5_Sonnet_20240620-*
- split: Hermes_2_Theta_Llama_3_70B
path: data/Hermes_2_Theta_Llama_3_70B-*
- split: WaveCoder_Ultra_6.7B
path: data/WaveCoder_Ultra_6.7B-*
- split: Gemma_2_9B_Instruct
path: data/Gemma_2_9B_Instruct-*
- split: AutoCoder
path: data/AutoCoder-*
- split: AutoCoder_S_6.7B
path: data/AutoCoder_S_6.7B-*
- split: AutoCoder_QW_7B
path: data/AutoCoder_QW_7B-*
---

原始信息汇总

数据集概述

数据集特征

• task_id: 数据类型为 string。
• status: 数据类型为 int64。

数据集分割

数据集包含多个分割，每个分割具有相同的数据量和样本数：

• 名称: 每个分割的名称。
• 字节数: 每个分割包含 31950 字节。
• 样本数: 每个分割包含 1140 个样本。

具体分割列表

• Magicoder_S_DS_6.7B
• StarCoder2_15B_Instruct_v0.1
• CodeGemma_7B_Instruct
• GPT_3.5_Turbo_0125
• GPT_4o_2024_05_13
• GPT_4_Turbo_2024_04_09
• GPT_4_0613
• CodeLlama_7B_Instruct
• CodeLlama_13B_Instruct
• Mistral_Large_2402
• Mistral_Small_2402
• Mixtral_8x22B_Instruct
• CodeLlama_34B_Instruct
• CodeLlama_70B_Instruct
• CodeQwen1.5_7B_Chat
• Qwen1.5_110B_Chat
• Qwen1.5_72B_Chat
• Qwen1.5_32B_Chat
• DeepSeek_V2_Chat
• DeepSeek_Coder_1.3B_Instruct
• DeepSeek_Coder_33B_Instruct
• DeepSeek_Coder_6.7B_Instruct
• Llama_3_70B_Instruct
• Llama_3_8B_Instruct
• Granite_Code_20B_Instruct
• Granite_Code_34B_Instruct
• Claude_3_Haiku_20240307
• Claude_3_Sonnet_20240229
• Claude_3_Opus_20240229
• Yi_1.5_34B_Chat
• Yi_1.5_9B_Chat
• Yi_1.5_6B_Chat
• Qwen2_57B_A14B
• Qwen2_7B_Instruct
• Qwen2_72B_Chat
• Gemini_1.5_Pro_API_0514
• Gemini_1.5_Flash_API_0514
• OpenCodeInterpreter_DS_6.7B
• OpenCodeInterpreter_DS_1.3B
• Phi_3_medium_128k_instruct
• Phi_3_small_128k_instruct
• Mistral_7B_Instruct_v0.3
• Command_R_plus
• DeepSeek_Coder_V2_Instruct
• DeepSeek_Coder_V2_Lite_Instruct
• Claude_3.5_Sonnet_20240620
• Hermes_2_Theta_Llama_3_70B
• WaveCoder_Ultra_6.7B
• Gemma_2_9B_Instruct
• AutoCoder
• AutoCoder_S_6.7B
• AutoCoder_QW_7B

数据集大小

• 下载大小: 482294 字节。
• 数据集大小: 1661400 字节。

配置

• 配置名称: default
• 数据文件路径: 每个分割对应的数据文件路径。

搜集汇总

数据集介绍

构建方式

在代码智能领域，对各类指令微调模型的性能进行系统化评估至关重要。BigCodeBench-Instruct-Perf数据集正是为此而生，它汇集了来自50余种前沿代码生成模型的推理结果。每个模型均在统一的大规模指令基准测试集上完成推理，其输出结果被标准化为包含任务标识与状态码的结构化数据。数据集的构建确保了每个模型的样本规模完全一致，均为1140条，从而为后续的横向对比分析奠定了公平、可靠的基础。

特点

该数据集最显著的特点在于其无与伦比的广度与均衡性。它囊括了从开源模型如CodeLlama、DeepSeek-Coder、Qwen系列到闭源商业模型如GPT-4、Claude-3、Gemini的全面覆盖，横跨了从1.3B到110B参数量的不同规模。所有模型子集均保持相同的样本数量与字节大小，这种严格的等量设计消除了数据量偏差，使得研究者能够纯粹聚焦于模型架构、训练策略或参数规模对指令遵循能力的影响，从而进行深度、公正的对比分析。

使用方法

研究人员可通过HuggingFace Datasets库便捷地加载该数据集。使用`load_dataset`函数即可获取全部或指定模型的推理结果。每个样本包含`task_id`和`status`两个字段，分别对应测试任务标识与模型执行状态。用户可以针对特定模型子集进行筛选，或遍历所有模型进行批量分析。该数据集适用于评估代码生成模型的准确性、鲁棒性，以及不同模型在相同任务上的表现差异，为模型选型与改进提供实证依据。

背景与挑战

背景概述

随着大语言模型在代码生成领域的迅猛发展，如何系统性地评估和比较不同模型在指令遵循与代码合成方面的能力，已成为该领域亟待解决的核心问题。BigCodeBench-Instruct-Perf数据集由BigCode项目团队于2024年构建，汇聚了来自全球顶尖研究机构与工业界的力量，旨在为代码智能体指令执行性能提供标准化评测基准。该数据集覆盖了从轻量级模型如DeepSeek-Coder-1.3B到超大规模模型如Claude-3.5-Sonnet在内的50余种主流代码模型，通过统一的任务描述与执行状态记录，深入剖析各模型在复杂编程指令下的表现差异。其发布不仅填补了代码指令基准的空白，更推动了代码大模型从功能验证向指令泛化能力的演进，对自动化软件工程与智能编程助手的发展产生了深远影响。

当前挑战

当前数据集面临的核心挑战源于代码指令执行任务的固有复杂性。首先，模型需精准理解自然语言描述的编程意图，并将其转化为可执行代码，这对语义解析与逻辑推理能力提出了极高要求，尤其当指令涉及多步骤操作或领域特定知识时，模型常出现意图偏移或功能缺失。其次，构建过程中需确保评估的公平性与可重复性，不同模型间的参数量级差异、训练数据分布偏移以及推理策略的多样性，使得横向对比结果易受非本质因素干扰。此外，数据集的1140个示例虽覆盖广泛，但真实场景中代码指令的无限变体与上下文依赖性仍未被充分捕获，导致基准测试的泛化边界尚需进一步拓展。

常用场景

经典使用场景

在代码智能与大规模语言模型飞速发展的当下，BigCodeBench-Instruct-Perf数据集为系统评估各类指令微调代码模型的性能提供了标准化基准。该数据集收录了从GPT系列、Claude系列到开源模型如DeepSeek-Coder、CodeLlama等数十种主流模型的生成结果，每个模型均包含1140个任务样本。研究者可利用该数据集对模型在代码生成、指令遵循等核心能力上进行横向对比，通过分析不同模型在同一任务上的表现差异，揭示模型架构、训练数据与参数规模对代码生成质量的影响规律。

解决学术问题

该数据集精准回应了当前代码大模型研究中缺乏统一、多模型对比基准的困境。传统评估往往局限于少数模型或单一任务，难以全面反映模型间的真实差异。BigCodeBench-Instruct-Perf通过标准化任务集合与统一评估流程，使研究者能够系统探究不同模型在代码生成准确性、指令理解深度、复杂逻辑推理等维度上的优劣。这为理解模型泛化能力、鲁棒性以及模型压缩与蒸馏等研究方向提供了可靠的数据支撑，推动了代码智能领域评估体系的规范化与科学化。

衍生相关工作

基于BigCodeBench-Instruct-Perf数据集，学术界已衍生出多项经典工作。研究者利用该数据集的丰富模型输出，深入分析了指令微调对代码生成能力的影响机制，提出了改进的微调策略。同时，该数据集被用于训练代码质量评估模型，通过对比不同模型生成的代码片段，自动学习代码优劣的判别标准。此外，一些工作将其作为基准，验证新型代码生成框架或提示工程方法的有效性，推动了代码大模型从研究走向应用的关键技术突破。