BIG-bench

Name: BIG-bench
Creator: OpenDataLab
License: 暂无描述

OpenXLab2026-04-18 收录

下载链接：

https://openxlab.org.cn/datasets/OpenDataLab/BIG-bench

下载链接

链接失效反馈

官方服务：

资源简介：

超越模仿游戏基准（BIG-bench）是一个协作基准，旨在探索大型语言模型并推断其未来能力。 Big-bench 包含 200 多个任务。

提供机构：

OpenDataLab

创建时间：

2022-08-19

BIG-bench

该数据集是一个协作评估框架，它是作为研讨会/会议的一部分构建的。BIG-bench 数据集强调了研究人员之间的协调与评估之间的关系，其任务是自然语言处理评估。

arXiv100

BIG-Bench Hard

The BIG-Bench Hard dataset is derived from the original BIG-Bench evaluation suite, focusing on tasks that pose challenges to existing language models.

DataCite Commons2026-01-07 更新300

BIG-Bench Instruction Induction

该数据集旨在评估跨多种任务的教学引导能力，包括认知推理、逻辑谬误检测、暗示、倒装句、因果判断以及Winowhy等任务。为了提示生成和评估的目的，该数据集被划分为训练集（60%）、验证集（20%）和测试集（20%）。该数据集覆盖了多种任务，并具有较大的数据量，其核心任务是跨多种任务的教学引导。

arXiv210

BIG-bench

超越模仿游戏基准（BIG-bench）是一个协作基准，旨在探索大型语言模型并推断其未来能力。 Big-bench 包含 200 多个任务。

OpenDataLab2026-07-12 更新470

MMLU and BIG-Bench

本数据集用于自动化更新大型语言模型评估的基准数据集，通过模仿和扩展策略生成新的数据样本，以保持评估的可靠性和时效性。

github2024-06-06 更新401