stojchet/python-sft3-empty

该数据集包含humaneval和mbxp两个配置的训练集，每个配置都包含任务ID、语言、完成情况和提示信息这四个字符串类型的特征。

The dataset includes training sets for two configurations: humaneval and mbxp, each containing four string-type features: task ID, language, completion, and prompt.

原始信息汇总

数据集概述

数据集配置

配置名称：humaneval

• 特征：
  • task_id：类型为字符串
  • language：类型为字符串
  • completion：类型为字符串
  • prompt：类型为字符串
• 分割：
  • train：包含164个样本，占用432074字节
• 下载大小：202604字节
• 数据集大小：432074字节

配置名称：mbxp

• 特征：
  • task_id：类型为字符串
  • language：类型为字符串
  • completion：类型为字符串
  • prompt：类型为字符串
• 分割：
  • train：包含974个样本，占用2014670字节
• 下载大小：858421字节
• 数据集大小：2014670字节

数据文件路径

配置名称：humaneval

• 数据文件：
  • train：路径为humaneval/train-*

配置名称：mbxp

• 数据文件：
  • train：路径为mbxp/train-*

搜集汇总

数据集介绍

构建方式

该数据集整合了代码补全领域的两个经典基准测试集——HumanEval与MBXP，以支持多语言代码生成任务的研究。HumanEval配置包含164条Python编程问题，每条样本涵盖任务标识符、编程语言、补全代码及提示信息；MBXP配置则扩展至974条样本，覆盖多种编程语言，同样包含任务标识符、语言标签、补全代码与提示字段。数据集以HuggingFace标准格式组织，两个子集均仅提供训练集划分，便于直接加载与评估。

特点

数据集具有鲜明的多语言与多任务特性，HumanEval聚焦于Python语言的函数级代码生成评估，而MBXP则将其扩展至Java、JavaScript等主流语言，形成跨语言代码补全的测试框架。每条样本均包含结构化字段，其中`completion`字段存储目标代码段，`prompt`字段提供上下文提示，这种设计使得数据集既能用于微调语言模型，又能作为零样本或少样本学习的评测基准。此外，数据集规模适中，适合快速迭代实验。

使用方法

使用时可通过HuggingFace的`load_dataset`函数直接加载指定配置，例如`load_dataset('stojchet/python-sft3-empty', 'humaneval')`获取HumanEval子集。数据以`train`分割形式提供，每条样本的`prompt`可作为模型输入，`completion`作为目标输出进行监督训练。对于评估，可基于`task_id`和`language`字段实现跨语言代码生成准确率的统计，或利用`completion`字段计算BLEU等文本相似度指标。默认文件路径按`{config_name}/train-*`模式存储，支持流式加载以节省内存。

背景与挑战

背景概述

在代码生成与程序合成领域，大规模监督微调数据集对于提升语言模型的代码理解与生成能力至关重要。stojchet/python-sft3-empty数据集由研究人员构建，整合了HumanEval与MBXP两大基准测试的监督微调样本，旨在推动多语言代码补全与生成任务的研究。HumanEval作为经典的手工编写函数级代码评测集，提供了164个Python编程问题；MBXP则扩展至多种编程语言，包含974个跨语言任务实例。该数据集的创建聚焦于解决代码语言模型在指令跟随与多语言泛化上的核心挑战，其发布为后续模型如Codex、StarCoder等提供了重要的训练与评估基础，对代码智能领域产生了深远影响。

当前挑战

该数据集所面临的挑战首先体现在领域问题的复杂性上：代码生成任务不仅要求模型理解自然语言描述，还需精准映射至语法正确、逻辑完备的代码片段，尤其当涉及多语言（如Python、Java、JavaScript）时，模型需克服跨语言语义对齐与语法差异带来的泛化难题。在构建过程中，挑战主要源于数据质量与标注一致性：HumanEval与MBXP的原始任务设计包含隐式约束与边界条件，人工整理监督信号时需确保输入输出对严格匹配，避免因提示词歧义或补全目标不完整导致模型学习偏差。此外，数据集规模有限（总计仅1138个样本），如何在少量高质量数据上实现有效微调而不引发过拟合，也是亟需平衡的关键问题。

常用场景

经典使用场景

在代码智能与程序合成领域，stojchet/python-sft3-empty数据集凭借其精心设计的HumanEval和MBXP子集，成为评估大语言模型代码生成能力的重要基准。该数据集聚焦于从自然语言描述到可执行代码的转换任务，要求模型根据给定的函数签名和文档字符串生成正确、高效的实现。其经典使用场景涵盖函数级代码补全与跨语言编程挑战，研究者通过在此数据集上测试模型在Python、Java等多样化语言环境下的表现，系统性地衡量模型对编程语义与语法的理解深度。

衍生相关工作

基于该数据集，学术界衍生出一系列具有影响力的经典工作。例如，Codex论文首次在HumanEval上展示了GPT-3的代码生成能力，开创了大规模语言模型在编程领域的应用范式。后续的CodeGen、InCoder等工作则进一步探索了自回归生成与填充式生成在MBXP多语言任务上的性能差异。此外，研究者还提出了基于该数据集的对抗性攻击与防御策略，以及用于提升模型推理能力的思维链微调方法，这些成果共同构成了现代代码智能研究的重要基石。

数据集最近研究

最新研究方向

该数据集聚焦于代码生成与补全任务的监督微调，整合了HumanEval与MBXP两大基准测试，涵盖Python、Java等多语言编程场景。当前前沿研究方向集中于利用此类高质量、多语言的指令数据对大型语言模型进行参数高效微调，以提升模型在复杂编程逻辑理解与跨语言代码生成上的泛化能力。结合大模型在自动化软件工程与智能编程助手领域的爆发式应用，该数据集为评估模型在真实编码任务中的鲁棒性与安全性提供了关键支撑，其空指令设计更推动了从基础补全到复杂推理的范式跃迁，对构建更可靠、更符合人类编程习惯的AI代码生成系统具有里程碑意义。