agi-benchmark-fixtures

kaggle2026-04-10 更新2026-05-09 收录

下载链接：

https://www.kaggle.com/datasets/saketposwal/agi-benchmark-fixtures

下载链接

链接失效反馈

官方服务：

资源简介：

task fixtures for the AGI Cognitive Abilities benchmark (exec + meta tracks

创建时间：

2026-03-28

CharacterEval

CharacterEval是一个专为评估中文角色扮演对话代理（RPCA）而设计的大型数据集，由中国人民大学和北京邮电大学的人工智能学院共同创建。该数据集包含1,785个多轮角色扮演对话，总计11,376个示例，涵盖77个来自中国小说和剧本的角色。数据集的构建过程包括使用GPT-4提取对话，随后进行严格的人工质量控制，并通过百度百科补充深入的角色资料。CharacterEval不仅用于评估RPCA的

arXiv2024-01-10 更新10740

CHARM - 面向大语言模型的中文常识推理测评基准数据集

CHARM由武汉大学，同济大学和上海人工智能实验室联合推出，是首个全面深入评估大型语言模型（LLMs）在中文常识推理能力的基准测试。该数据集不仅覆盖国际普遍认知的常识，还包括具有中国特色的常识领域，如历史、传统文化与艺术、日常生活和习俗、娱乐、公众人物、地理和汉语语言等方面。CHARM数据集的特点在于它包含紧密相连的推理和记忆任务，设计了1800个推理任务和759个记忆任务，这样的设计允许同时评估

github2024-04-19 更新8810

AICrypto

AICrypto是一个全面评估大型语言模型（LLMs）密码学能力的基准数据集，由中国科学院信息工程研究所等机构的研究人员开发。该数据集包含135个选择题、150个捕获旗帜（CTF）挑战和18个证明问题，涵盖了从事实记忆到漏洞利用和形式推理的广泛技能。所有任务都经过密码学专家的仔细审查或构建，以确保正确性和严谨性。AICrypto旨在帮助研究人员更好地理解LLMs在密码学领域的潜力和局限性，为未来的

arXiv2025-07-13 更新2330

TCMD

TCMD是一个专为评估大型语言模型在中医领域表现而设计的数据集。该数据集由南京理工大学创建，包含4种类型的多项选择题，共计3451条数据，覆盖了中医国家医学执照考试的所有科目。数据集的创建过程严格遵循官方考试指南，确保了问题的全面性和准确性。TCMD数据集主要用于评估和提升大型语言模型在中医领域的应用能力，特别是在解决中医相关问题时的准确性和效率。

arXiv2024-06-07 更新10690

TCM-3CEval

TCM-3CEval是由上海中医药大学、中国科学院上海人工智能实验室和中国中医科学院共同创建的数据集，旨在评估大型语言模型在中医领域的核心知识掌握、经典文本理解和临床决策制定三个维度的表现。该数据集包含450个条目，来源于中医教材、经典文献和临床案例，涵盖了中医基础理论、诊断、中药学、方剂学等多个方面的知识，以及临床诊断和治疗能力。数据集的设计旨在为中医领域的大型语言模型提供科学和系统的评价框架，

arXiv2025-03-10 更新2960