SYSUSELab/OHBen

Name: SYSUSELab/OHBen
Creator: SYSUSELab
Published: 2025-10-18T06:37:14+08:00

Hugging Face2025-10-17 更新2025-10-18 收录

HarmonyOS

代码生成

数据链接：

https://hf-mirror.com/datasets/SYSUSELab/OHBen 数据链接链接失效反馈

官方服务：

资源简介：

HarmonyOS Benchmark.json是一个包含108个条目的数据集，用于框架感知的代码生成研究，结合了API知识图谱。

HarmonyOS Benchmark.json is a dataset with 108 entries, used for research on framework-aware code generation incorporating API knowledge graph.

提供机构：

Mercury是由南洋理工大学和新加坡国立大学联合开发的第一个针对代码大型语言模型的计算效率基准数据集。该数据集包含1,889个Python任务，每个任务都有足够的解决方案来支持运行时分布。Mercury旨在评估和提高代码生成的计算效率，通过引入新的度量标准Beyond，该度量标准计算运行时百分位加权的通过分数，以同时反映功能正确性和计算效率。数据集的应用领域主要集中在提高代码生成模型的效率，确保

arXiv2024-05-11 更新870

ds1000_pnyx

代码生成

问答系统

PNYX-ds1000 是基于 DS-1000 数据集的分割和测试版本，旨在与 `hf_evaluate` 的 `code_eval` 包兼容。该数据集包含原始字段及新增字段：`user_chat_prompt`（聊天式问题提示）、`test_code`（重写为 `hf_evaluate` 兼容格式的代码上下文）和 `solution_function`（解决方案函数）。数据集涵盖多个配置（Pan

Hugging Face2026-03-10 更新110

smamooler/codeqa-gt50-combined

代码问答

代码生成

--- dataset_info: features: - name: id dtype: string - name: language dtype: string - name: question dtype: string - name: answer dtype: string - name: code dtype: stri

Hugging Face2026-04-03 更新50

SWE-bench_Verified

软件工程

代码生成

SWE-bench Verified是SWE-bench测试集的一个子集，包含500个经过人工验证的样本，用于测试系统自动解决GitHub问题的能力。该数据集收集了来自流行Python仓库的500个测试问题-拉取请求对，评估通过使用拉取请求后的行为作为参考解决方案的单元测试验证进行。原始SWE-bench数据集是作为SWE-bench: Can Language Models Resolve Re

Hugging Face2025-12-09 更新670

formermagic/github_python_1m

代码生成

自然语言处理

--- annotations_creators: - found language_creators: - found language: - py license: - mit multilinguality: - monolingual size_categories: - 100K<n<1M source_datasets: - original task_categories: - se

Hugging Face2022-10-21 更新100

SYSUSELab/OHBen

资源简介：

相关数据集