iamtarun/code_contest_processed

---
dataset_info:
features:
- name: id
dtype: string
- name: description
dtype: string
- name: code
dtype: string
- name: language
dtype:
class_label:
names:
'0': UNKNOWN
'1': Python2
'2': C++
'3': Python3
'4': JAVA
- name: test_samples
sequence:
- name: input
dtype: string
- name: output
dtype: string
- name: source
dtype:
class_label:
names:
'0': UNKNOWN_SOURCE
'1': CODECHEF
'2': CODEFORCES
'3': HACKEREARTH
'4': CODEJAM
'5': ATCODER
'6': AIZU
splits:
- name: train
num_bytes: 3321514817
num_examples: 38438
- name: valid
num_bytes: 122746000
num_examples: 396
- name: test
num_bytes: 77106001
num_examples: 514
download_size: 1047406436
dataset_size: 3521366818
configs:
- config_name: default
data_files:
- split: train
path: data/train-*
- split: valid
path: data/valid-*
- split: test
path: data/test-*
task_categories:
- text-generation
- text2text-generation
- question-answering
tags:
- code
size_categories:
- 10K<n<100K
---
# Dataset Card for Code Contest Processed

## Dataset Summary
This dataset is created by processing [code_contest dataset from Deepmind](https://huggingface.co/datasets/deepmind/code_contests). It is a competitive programming dataset for machine-learning. Read more about dataset at [original source](https://huggingface.co/datasets/deepmind/code_contests).

## Columns Description
- `id` : unique string associated with a problem
- `description` : problem description
- `code` : one correct code for the problem
- `language` : programming language used for code
- `test_samples` : contains inputs and their corresponding outputs for the problem
- `source` : source of problem

数据集信息：
特征：
- 名称：id，数据类型：字符串
- 名称：description，数据类型：字符串
- 名称：code，数据类型：字符串
- 名称：language，数据类型：
类别标签（class_label）：
类别映射：
'0': UNKNOWN（未知）
'1': Python2
'2': C++
'3': Python3
'4': JAVA
- 名称：test_samples，数据类型：
序列（sequence）：
- 名称：input，数据类型：字符串
- 名称：output，数据类型：字符串
- 名称：source，数据类型：
类别标签（class_label）：
类别映射：
'0': UNKNOWN_SOURCE（未知来源）
'1': CODECHEF
'2': CODEFORCES
'3': HACKEREARTH
'4': CODEJAM
'5': ATCODER
'6': AIZU
划分集：
- 名称：train（训练集），字节数：3321514817，样本数：38438
- 名称：valid（验证集），字节数：122746000，样本数：396
- 名称：test（测试集），字节数：77106001，样本数：514
下载大小：1047406436
总数据集大小：3521366818
配置项：
- 配置名称：default（默认配置）
数据文件：
- 划分集train：路径为data/train-*
- 划分集valid：路径为data/valid-*
- 划分集test：路径为data/test-*
任务类别：
- 文本生成（text-generation）
- 文本到文本生成（text2text-generation）
- 问答（question-answering）
标签：
- 代码（code）
样本规模分类：
- 10K<n<100K（1万<样本数<10万）

---

# 代码竞赛预处理数据集卡片

## 数据集概述
本数据集通过处理[Deepmind发布的code_contests数据集](https://huggingface.co/datasets/deepmind/code_contests)构建而成，是一款面向机器学习的竞争性编程数据集。如需了解更多数据集详情，请参阅[原始数据源](https://huggingface.co/datasets/deepmind/code_contests)。

## 字段说明
- `id`：关联单个编程题目的唯一字符串标识符
- `description`：编程题目描述文本
- `code`：该题目的一份正确实现代码
- `language`：编写代码所使用的编程语言
- `test_samples`：包含该题目的测试输入及其对应输出的样本集合
- `source`：编程题目的来源平台

原始信息汇总

数据集概述

数据集特征

• id：字符串类型，唯一标识符。
• description：字符串类型，问题描述。
• code：字符串类型，问题的正确代码。
• language：分类标签类型，编程语言，包括：
  • 0: UNKNOWN
  • 1: Python2
  • 2: C++
  • 3: Python3
  • 4: JAVA
• test_samples：序列类型，包含：
  • input：字符串类型，输入数据。
  • output：字符串类型，输出数据。
• source：分类标签类型，问题来源，包括：
  • 0: UNKNOWN_SOURCE
  • 1: CODECHEF
  • 2: CODEFORCES
  • 3: HACKEREARTH
  • 4: CODEJAM
  • 5: ATCODER
  • 6: AIZU

数据集划分

• train：38438个样本，大小为3321514817字节。
• valid：396个样本，大小为122746000字节。
• test：514个样本，大小为77106001字节。

数据集大小

• 下载大小：1047406436字节。
• 数据集大小：3521366818字节。

配置文件

• default：包含训练、验证和测试数据的路径配置。

任务类别

• 文本生成
• 文本到文本生成
• 问答

标签

• 代码

大小类别

• 10K<n<100K

搜集汇总

数据集介绍

构建方式

该数据集源自DeepMind原始构建的code_contests竞赛编程语料库，经过系统化清洗与格式化处理而成。原始数据涵盖来自CodeChef、Codeforces、HackerEarth等六大知名竞赛平台的编程问题，每条样本包含唯一标识符、问题描述、正确解答代码、编程语言标签、测试样例对及来源标注。处理过程中对非标准格式进行了规范化，并保留了多语言代码实现与多源测试用例，最终形成包含约3.8万训练样本、396验证样本和514测试样本的结构化数据集。

特点

数据集以竞赛编程为核心场景，具有显著的多维异构特性。每条样本整合了自然语言描述与程序代码两种模态信息，测试样例覆盖输入输出对，支持代码生成任务的自动评估。语言标签涵盖Python2、Python3、C++、Java及未知类型，来源标签细分为六大竞赛平台，便于进行跨语言、跨平台的泛化能力研究。数据规模适中，类别分布均衡，适合作为代码智能领域微调与评测的基准资源。

使用方法

该数据集适用于文本生成、序列到序列生成及问答等任务场景，尤其适合竞赛代码生成与程序修复研究。使用时可直接通过HuggingFace Datasets库加载，按train、valid、test三划分进行模型训练与评估。description字段可作为输入，code字段作为目标输出构建监督学习范式；test_samples字段中的输入输出对可用于自动化测试验证。建议结合编程语言与来源标签进行多任务或迁移学习实验设计。

背景与挑战

背景概述

在人工智能与程序合成交叉领域，竞争性编程数据集为评估模型在算法推理与代码生成方面的能力提供了关键基准。iamtarun/code_contest_processed数据集由研究者于2023年前后基于DeepMind的code_contests原始数据加工而成，汇聚了来自CodeChef、Codeforces、HackerEarth等五大知名竞赛平台的数万道编程题目。该数据集的核心研究问题聚焦于如何利用大规模、多语言的竞争编程样本，训练模型在给定问题描述时生成正确且高效的代码解决方案。其影响力体现在为自然语言到代码的生成任务提供了结构化测试用例与多语言标注，推动了文本生成与问答任务在编程领域的应用研究。

当前挑战

该数据集所解决的领域问题在于竞争性编程任务中模型对复杂算法逻辑的建模与泛化能力，尤其是面对多源异构题目时需处理描述模糊性、语言多样性及测试用例的隐式约束。构建过程中遇到的挑战包括：从DeepMind原始数据中清洗并统一格式时需应对不同竞赛平台在题目描述风格、输入输出规范上的显著差异；标注代码语言的类别时面临Python2与Python3的版本区分及JAVA等语言的兼容性问题；此外，确保每个问题仅保留一个正确代码以简化训练目标，同时维持训练集（38438例）与验证/测试集规模（约400-500例）的平衡，以避免过拟合或评估偏差。

常用场景

经典使用场景

在算法竞赛与程序合成领域，iamtarun/code_contest_processed 数据集最为经典的使用场景是作为代码生成模型的训练与评估基准。通过提供来自 CodeChef、Codeforces 等知名竞赛平台的问题描述、参考答案及测试样例，研究者可构建从自然语言问题描述到正确代码的端到端映射模型，尤其适用于监督学习范式下的程序合成任务。该数据集还支持多语言代码生成（如 Python3、C++、Java），为跨语言编程能力的研究提供了丰富的语料资源。

衍生相关工作

该数据集的发布催生了一系列具有影响力的后续工作。研究者基于其结构化特征提出了多种针对竞赛编程问题的神经符号方法，例如结合检索增强生成与动态规划策略的混合模型。此外，该数据集也常被用作代码预训练模型（如 CodeT5、CodeGen）的下游微调基准，以评估模型在算法推理任务上的迁移能力。部分工作还聚焦于利用其多语言特性探索跨语言代码表示学习，推动了多语言程序合成领域的理论发展。

数据集最近研究

最新研究方向

在人工智能与程序合成交叉领域，iamtarun/code_contest_processed数据集正成为推动代码生成与理解前沿研究的关键资源。该数据集汇聚了来自CodeChef、Codeforces、AtCoder等顶级竞赛平台的数万道编程题目，每道题均包含自然语言描述、多语言解决方案及测试样例，为训练大语言模型在复杂算法任务上的推理能力提供了高质量基准。近期研究聚焦于利用该数据集探索少样本代码生成、跨语言迁移学习以及程序正确性验证等方向，尤其在OpenAI o1系列与DeepSeek-R1等推理增强模型发布后，该数据集被广泛用于评估模型在竞争性编程这一高难度场景下的逻辑链推导与错误修正能力。其影响力体现在推动代码智能从简单补全向完整问题求解演进，同时为构建可泛化的编程助手奠定了数据基础。