livebench/coding

LiveBench是一个为大型语言模型设计的基准测试，旨在限制测试集污染并实现客观评估。它具有以下特性：通过每月发布新问题以及基于最近发布的数据集、arXiv论文、新闻文章和IMDb电影摘要设计问题来限制潜在的污染；每个问题都有可验证的客观真实答案，允许准确自动评分；目前包含18个不同任务，分布在6个类别中，并计划发布更难的挑战。这是LiveBench的instruction_following类别。LiveBench是一个为大型语言模型设计的基准测试，旨在限制测试集污染并实现客观评估。它具有以下特性：通过每月发布新问题以及基于最近发布的数据集、arXiv论文、新闻文章和IMDb电影摘要设计问题来限制潜在的污染；每个问题都有可验证的客观真实答案，允许准确自动评分；目前包含18个不同任务，分布在6个类别中，并计划发布更难的挑战。这是LiveBench的instruction_following类别。

原始信息汇总

数据集概述

数据集特征

• question_id: 字符串类型
• category: 字符串类型
• turns: 字符串序列
• question_title: 字符串类型
• public_test_cases: 字符串类型
• private_test_cases: 字符串类型
• original_json: 结构化数据，包含以下字段：
  • question_title: 字符串类型
  • question_content: 字符串类型
  • platform: 字符串类型
  • question_id: 字符串类型
  • contest_id: 字符串类型
  • contest_date: 时间戳（秒）
  • starter_code: 字符串类型
  • difficulty: 字符串类型
  • metadata: 字符串类型
• release_date: 时间戳（秒）
• citation: 字符串类型
• grouping: 字符串类型
• solution: 字符串类型
• partial_solution: 字符串类型
• remainder: 字符串类型

数据集分割

• test:
  • 数据大小: 178909805 字节
  • 示例数量: 88

数据集大小

• 下载大小: 171773132 字节
• 数据集大小: 178909805 字节

配置

• default:
  • 数据文件路径: data/test-*