ScaleAI/PRBench

PRBench是一个大规模专家评分量表数据集，包含金融和法务领域的1100场由专家撰写的对话，以及每个任务19,356条专家策划的评分量表标准。数据集覆盖了114个国家，47个美国司法管辖区，以及25个专业主题。此外，还包括代表最困难任务的金融-300和法务-250子集。

PRBench consists of 1,100 expert-authored conversations across Finance and Legal domains, 19,356 expert-curated rubric criteria (10–30 per task), covering 114 countries, 47 U.S. jurisdictions, and 25 total professional topics. It also includes the Finance-300 and Legal-250 subsets representing the most challenging tasks.

搜集汇总

数据集介绍

构建方式

PRBench数据集由Scale AI构建，专注于金融与法律领域的高风险专业推理评估。其构建过程依托于领域专家深度参与，通过设计涵盖114个国家、47个美国司法辖区及25个专业主题的对话场景，生成1,100条专家级交互记录。每条任务配备10至30条由专家精心制定的评分标准（rubric），共计19,356条评估准则。数据集分为金融、法律及各自的高难度子集（Finance-300与Legal-250），其中高难度子集精选最具挑战性的任务，以强化对模型极限推理能力的检验。

特点

该数据集的核心特色在于其专家驱动的评估体系与跨领域覆盖的广度。每条对话包含多轮交互（turns），并关联详细的任务类型、领域、主题及专家信息。评分标准采用多维度权重分类（如critically_detrimental_weight、important_weight等），实现对模型回复的精细量化分析。此外，数据集提供多种模型的响应及参考文本，支持多模型对比评估。其高难度子集进一步聚焦复杂场景，为衡量前沿模型的专业推理能力提供严苛基准。

使用方法

使用PRBench时，用户可通过HuggingFace加载默认配置，按需选取金融、法律或其高难度子集。每条数据包含任务描述（prompt_0至prompt_9）、对应模型响应（response_0至response_9）及参考文本，便于进行自动化或人工评估。官方提供的评估代码（GitHub仓库）可结合评分标准计算加权得分，实现标准化评测。数据可视化工具（PRBench Explorer）支持交互式浏览，辅助用户深入分析模型在不同专业任务上的表现差异。

背景与挑战

背景概述

在专业推理评估领域，现有基准测试往往侧重于通用知识或简单问答，难以捕捉金融与法律等高 stakes 场景中复杂、多步骤的推理过程。Scale AI 团队于近年推出的 PRBench 数据集，正是为了填补这一空白而构建。该数据集由领域专家精心设计了 1,100 组对话，涵盖金融与法律两大专业领域，并附有 19,356 条专家制定的评分准则。其研究核心在于提供一套大规模、细粒度的评估框架，用于衡量大型语言模型在真实世界专业任务中的推理能力。PRBench 的影响力在于，它不仅覆盖了 114 个国家、47 个美国司法管辖区的多样场景，还特别设置了“困难子集”，为模型在最具挑战性的专业推理任务上的表现设立了新的标杆。

当前挑战

PRBench 所面临的核心挑战，首先在于如何准确评估模型在金融与法律领域的高风险专业推理能力。传统基于准确率或简单匹配的评估指标，无法捕捉模型在复杂、模糊且具有法律或财务后果的决策中的逻辑严密性与领域合规性。为此，数据集构建了包含 10 至 30 条细粒度准则的专家评分体系，但如何确保这些主观性较强的准则在不同评估者之间保持一致性，仍是一大难题。其次，构建过程中，邀请来自多个司法管辖区的专家撰写对话与评分准则，本身便是一项艰巨任务，需要协调不同法律体系与金融实践中的术语差异与逻辑习惯，以保证数据的代表性与公平性。这些挑战共同指向了专业推理评估的复杂性：既要深度反映领域特性，又要具备跨场景的泛化能力。

常用场景

经典使用场景

在金融与法律等高风险专业领域，大型语言模型的推理能力评估长期缺乏系统化、细粒度的基准。PRBench应运而生，它汇集了1,100组由专家撰写的多轮对话，覆盖金融与法律两大核心领域，并辅以19,356条专家精心设计的评分细则。这些细则从多个维度对模型输出进行量化评判，使得研究者能够深入剖析模型在专业场景下的逻辑连贯性、事实准确性与决策合理性。该数据集的核心价值在于为专业推理评估提供了可重复、标准化且具备高度领域权威性的测试平台。

解决学术问题

学术界长期受困于如何客观衡量语言模型在专业任务中的表现。传统基准多聚焦于通用知识或简单推理，难以捕捉高保真度专业场景中的细微失误。PRBench通过引入专家级评分矩阵与多轮交互对话，系统性地解决了专业推理评估的颗粒度与可靠性问题。它不仅提供了跨114个国家、47个美国司法管辖区的多样化案例，还设置了Finance-Hard与Legal-Hard等更具挑战性的子集，从而推动了关于模型在复杂、多步推理任务中鲁棒性的研究。这一数据集的发布，显著提升了专业领域模型评测的科学性与可解释性。

衍生相关工作

PRBench的发布催生了一系列后续研究。基于其细粒度评分机制，研究者开发了面向专业领域的高效微调策略与偏好对齐方法，显著提升了模型在金融法律任务中的表现。同时，该数据集的多轮对话结构与专家评分系统，被借鉴用于构建跨领域推理基准，如医疗诊断与工程审计中的评估框架。此外，PRBench的公开可视化工具与开源评估代码，也推动了社区在专业推理可解释性分析上的探索，形成了从基准构建到模型优化的完整研究生态。