SCUT-DLVCLab/WenMind

WenMind基准是一个面向中文古典文学与语言艺术的大型语言模型评估数据集，包含古文、古诗和古代文学文化三个子领域，涵盖42个细粒度任务，包括填空题、选择题和问答题三种问题格式，适用于领域导向和能力导向两种评估场景。WenMind Benchmark is a comprehensive evaluation dataset for Large Language Models (LLMs) in the domain of Chinese Classical Literature and Language Arts, covering sub-domains of Ancient Prose, Ancient Poetry, and Ancient Literary Culture, with 42 fine-grained tasks, including three question formats (Fill-in-the-Blank, Multiple-Choice, and Question-and-Answer) and two evaluation scenarios (domain-oriented and capability-oriented).

搜集汇总

背景与挑战

背景概述

WenMind是一个针对中文古典文学与语言艺术的大型语言模型评估数据集，包含古文、古诗和古代文学文化三个子领域，涵盖42个细粒度任务，采用填空题、选择题和问答题三种格式，适用于领域导向和能力导向的评估场景。