SuperCLUE

该数据集是一个全面性的基准，用于通过包括用户查询、开放式问题和封闭式问题在内的多种任务来评估中文大型语言模型的性能。该基准包含了三个子任务：一是来自大型语言模型对战平台上的用户查询及其评分；二是开放式问题，包括单轮和多轮对话；三是封闭式问题，用于评估模型在实际应用中的性能。This dataset is a comprehensive benchmark designed to evaluate the performance of Chinese large language models (LLMs) across multiple tasks including user queries, open-ended questions, and closed-ended questions. This benchmark comprises three subtasks: 1) User queries and their corresponding scores sourced from large language model battle platforms; 2) Open-ended questions including single-turn and multi-turn dialogues; 3) Closed-ended questions aimed at assessing model performance in real-world applications.

搜集汇总

数据集介绍

构建方式

在大型语言模型日益融入日常生活的背景下，现有基准多聚焦于封闭式选择题的准确率，难以反映真实用户偏好。为弥补这一缺憾，SuperCLUE基准应运而生。其构建过程匠心独运，首先依托中文模型对战平台LangYa Leaderboard，收集了约9900条用户真实查询与评分，形成CArena子集，作为衡量模型实际表现的黄金标准。继而，从用户查询中凝练出十种核心能力类别，如推理与创作，并针对每一类别精心设计了30个单轮与30个多轮开放式问题，构成OPEN子集。最后，通过GPT-3.5生成并人工校验，为每个单轮开放式问题配以唯一正确答案的四选一封闭式问题，形成CLOSE子集。三者相辅相成，共同编织成一个全面而细腻的中文大模型评估网络。

特点

SuperCLUE基准的卓越之处在于其三维一体的评估架构，实现了主观与客观、开放与封闭的巧妙融合。CArena子集直接源自真实用户的对战评分，以胜率与平率作为模型效用的终极标尺，其生态效度无可比拟。OPEN子集则通过单轮与多轮开放式问题，深入考察模型在复杂指令遵循与多轮对话中的流畅性与创造性，并由GPT-4作为裁判进行自动化评估，与人类评委的一致性高达80%，确保了评估的可靠性与可扩展性。CLOSE子集虽为封闭式选择题，却并非孤立存在。研究揭示，单独使用封闭式问题无法有效区分模型能力（性能集中在55%-60%），但将其与开放式问题结合，特别是与多轮开放式问题联合，能显著提升对用户偏好的预测能力，展现了二者之间奇妙的互补性。

使用方法

使用SuperCLUE基准对模型进行评测，需遵循一套严谨的零样本评估流程，以贴近真实应用场景。对于CLOSE子集，采用分类准确率作为评估指标，直接计算模型在选择题上的正确率。对于OPEN子集，则需调用GPT-4作为裁判，采用成对比较法：将待评模型与ChatGPT对同一问题的回答匿名呈现给GPT-4，由GPT-4判定孰优孰劣或宣告平局，最终以平均胜率（胜率与平率之和）作为模型得分。这一过程需注意消除位置偏差与冗长偏差。对于CArena子集，可直接使用平台收集的用户投票数据计算胜率。最终，建议综合CLOSE与OPEN MULTIPLE的评估结果，通过线性加权（如系数0.49与0.51）来预测模型在真实世界中的用户偏好，从而获得最全面的性能画像。

背景与挑战

背景概述

SuperCLUE是由CLUE团队与西湖大学于2023年联合推出的综合性中文大语言模型评测基准。随着大语言模型在日常生活场景中的广泛应用，传统的封闭式选择题评测方式难以真实反映模型在实际交互中的表现。SuperCLUE应运而生，旨在弥合现有评测体系与现实用户偏好之间的鸿沟。该基准涵盖三大子任务：基于匿名对战平台CArena的真实用户查询与评分、开放式单轮与多轮对话任务OPEN，以及与OPEN对应的封闭式选择题任务CLOSE。通过系统性评估11个先进模型，SuperCLUE揭示了封闭式评测的局限性，并证明了开放式与封闭式问题联合使用的互补价值，为中文大模型的能力评估树立了新的标杆。

当前挑战

SuperCLUE面临的核心挑战在于如何精准映射模型能力与用户真实偏好之间的复杂关联。一方面，现有的封闭式选择题评测虽易于自动化，却难以捕捉模型在开放式交互中的生成质量、逻辑连贯性与创造力，导致评测结果与用户实际体验脱节。另一方面，构建过程中需应对大规模用户查询的多样性标注难题，包括对十种能力类别（如语义理解、逻辑推理、角色扮演等）的精细分类，以及将开放式问题转化为高质量封闭式问题的繁琐流程。此外，如何利用GPT-4等高级模型作为可靠自动裁判，在中文语境下实现与人类评估的高度一致性，亦是技术实现上的重大挑战。

常用场景

经典使用场景

SuperCLUE作为中文大语言模型的综合性评测基准，其最经典的使用场景在于全面评估模型在真实中文交互环境中的综合能力。该基准巧妙融合了三种互补的评测方式：基于用户真实交互的匿名对战平台CArena、包含单轮与多轮对话的开放式问题集OPEN，以及与之对应的封闭式选择题集CLOSE。研究者可通过这一框架系统性地衡量模型在语义理解、知识应用、逻辑推理、代码生成、角色扮演等十个核心能力维度上的表现，从而获得对模型性能的立体化认知。

衍生相关工作

SuperCLUE的提出催生了一系列相关研究工作，深化了对大语言模型评测的理解。该研究验证了GPT-4作为自动评估者在中文语境中的可靠性，为后续利用强模型评估弱模型的方法论奠定了基础。此外，其对封闭式与开放式问题互补性的揭示，启发了后续研究探索多维度、多模态的融合评测策略。该基准所定义的十个能力分类体系也成为其他中文大模型评测工作的重要参考，推动了中文NLP领域评测标准的统一与完善。

数据集最近研究

最新研究方向

在大型语言模型（LLM）的评估领域，SuperCLUE基准的提出标志着中文场景下从传统封闭式选择题向开放式真实用户偏好评估的范式转变。前沿研究聚焦于如何通过多维度、多轮交互的开放式问题（如OPEN数据集中的单轮与多轮对话）与用户实际反馈（如CArena平台的众包评分）相结合，更精准地捕捉模型在复杂现实应用中的表现。这一方向与当前LLM落地于智能助手、内容生成等热点事件紧密关联，其核心意义在于揭示了封闭式评估的局限性——仅依赖准确率难以区分模型能力差异，而开放式与封闭式问题的互补融合（如CLOSE与OPEN的联合分析）能更可靠地预测用户偏好，从而推动中文LLM向更贴近人类需求的方向进化。

相关研究论文

• SuperCLUE: A Comprehensive Chinese Large Language Model Benchmark

  西湖大学 · 2023年