遇见数据集

ARB

收藏
OpenDataLab2026-07-12 更新2024-05-09 收录
官方服务:

资源简介:

ARB 是一个新颖的基准数据集,由高级推理问题组成,旨在评估法学硕士在文本理解和专家领域推理方面的能力,提供比以前的基准更具挑战性的测试,其特点是测试更深入的数学、物理、生物、化学和法律知识。

ARB is a novel benchmark dataset comprising advanced reasoning questions, designed to evaluate Large Language Models (LLMs) on their text understanding and expert-domain reasoning capabilities. It provides more challenging tests than prior benchmarks, featuring assessments that require in-depth knowledge of mathematics, physics, biology, chemistry, and law.

提供机构:
OpenDataLab
创建时间:
2024-04-30
搜集汇总
数据集介绍
ARB 数据集图片
背景与挑战
背景概述
ARB是一个高级推理基准数据集,用于评估大型语言模型在文本理解和专家领域(如数学、物理、生物、化学和法律)的深度推理能力,提供比以往更具挑战性的测试。该数据集由苏黎世联邦理工学院、佐治亚理工学院和DuckAI于2023年7月发布,相关资源可通过GitHub和arXiv获取。
以上内容由遇见数据集搜集并总结生成
二维码
社区交流群
二维码
科研交流群
商业服务