CLOTH

该数据集名为CLOTH，是一个大型的由人类教师为中学和高中语言考试设计的人工闭卷测试数据集。与之前自动生成的闭卷测试数据集相比，它要求更深入的语言理解能力和更广泛的注意力跨度。该数据集分为CLOTH-M（面向中学生）和CLOTH-H（面向高中生）两部分，问题类型包括语法、短期推理、匹配/释义以及长期推理。在清理后，数据集包含了7,131个段落和99,433个问题。该数据集的任务是通过闭卷测试来评估语言熟练度。

This dataset, named CLOTH, is a large-scale manually curated closed-book test dataset designed by human teachers for middle and high school language proficiency examinations. Compared with previously released automatically generated closed-book test datasets, it requires more in-depth language comprehension abilities and a broader attention span. The dataset is divided into two subsets: CLOTH-M (for middle school students) and CLOTH-H (for high school students). The question types cover grammar, short-term reasoning, matching/paraphrasing, and long-term reasoning. After data cleaning, the dataset contains 7,131 passages and 99,433 questions. The core task of this dataset is to assess language proficiency through closed-book testing.

搜集汇总

数据集介绍

构建方式

CLOTH数据集源自中国中学与高中英语考试中的完形填空试题，由一线英语教师精心设计。研究团队从三个公开教育网站收集原始试题，经过严格清洗流程，剔除格式不一致、依赖图片或表格、重复段落以及答案图像识别不一致的题目，最终获得7131篇短文与99433道题目。数据集按难度分为CLOTH-M（初中）与CLOTH-H（高中）两个子集，并划分出训练集、开发集与测试集。

特点

该数据集的核心特征在于其人工构建的独特优势：教师基于词汇、逻辑与语法三大语言维度，有目的地选择考点词汇并设计三个语法正确但语义微妙的干扰项，使得题目极具区分度。与自动生成的完形填空相比，CLOTH题目更注重深层语言理解与长程上下文推理，其中约22.4%的题目需依赖跨句子信息才能作答，远高于自动生成数据集的难度，导致当前最优模型与人类表现之间存在显著差距。

使用方法

CLOTH适用于评估语言模型与机器阅读理解模型的长程上下文建模能力。语言模型可利用其评估对长距离依赖的捕捉能力，而机器阅读理解模型则可测试其在词汇、推理与语法等语言现象上的理解深度。研究者可直接使用CLOTH的训练集进行模型训练，并在测试集上评估性能，无需外部语料即可获得有意义的基准。此外，该数据集也可用于半监督学习研究，通过代表性加权方法融合自动生成数据进行知识迁移。

背景与挑战

背景概述

完形填空作为评估语言熟练度的经典工具，在语言考试中广泛应用。2017年，卡内基梅隆大学的谢奇哲、赖国坤、戴子航与Eduard Hovy等人提出了首个大规模人工构建的完形测试数据集CLOTH，该数据集源自中国中学与高中英语教师为备考而设计的试题，包含7131篇短文及99433道题目。与自动生成的完形填空数据集不同，CLOTH中的空白由教师精心挑选以考察词汇、推理与语法能力，干扰项亦经过审慎设计，旨在评估更深层次的语言理解与长距离依赖建模能力。该数据集的出现，为自然语言处理领域提供了更具挑战性的基准，推动了机器阅读理解与语言模型研究的发展。

当前挑战

CLOTH数据集面临的核心挑战在于其问题设计对长距离上下文理解的高要求。研究表明，基于十亿词库训练的最先进语言模型在CLOTH上的表现与人类存在显著差距，这一差距主要源于模型对长距离推理的不足——例如，模型难以跨越多个句子整合信息以推断答案。此外，构建过程中的挑战包括：从20,605篇原始文本中清洗重复与格式不一致的题目，使用OCR技术从图片中提取答案并验证一致性，以及将题目细分为语法、短距离推理、匹配/释义与长距离推理等类型，确保数据质量与评估的精准性。

常用场景

经典使用场景

在自然语言处理领域，完形填空测试是评估语言理解能力的重要范式。CLOTH数据集作为首个大规模由教师手工设计的完形测试集合，其经典使用场景在于评测机器对长程语境信息的建模能力。与自动生成的完形数据集不同，CLOTH中的空白由教师精心挑选，候选选项经过刻意设计以增加区分度，因此特别适用于检验模型在词汇、语法与推理等多维度语言现象上的综合理解力。研究者常将其作为基准，衡量语言模型与机器阅读理解系统在复杂上下文中的表现，尤其是对需要跨句子整合信息的推理任务的应对能力。

实际应用

在实际应用层面，CLOTH数据集为教育科技领域提供了精准的语言能力评估工具。基于该数据集开发的模型可被集成至智能辅导系统中，用于自动生成难度适中的完形填空试题，辅助学生备考中学与大学入学考试。此外，CLOTH的高质量标注特性使其适用于跨语言学习场景，例如为非母语学习者设计个性化词汇与语法训练。在工业界，该数据集常用于检验搜索引擎与对话系统对长文本的语义理解能力，从而优化信息检索与问答服务中的上下文感知功能，提升用户体验。

衍生相关工作

CLOTH数据集的发布催生了一系列经典后续工作。其中，代表性模型利用可学习的选择性机制自动识别教师可能设问的关键词，从而将自动生成的数据与人工标注数据有效结合，显著提升了半监督学习下的完形填空性能。此外，ELMo等上下文感知词向量模型在CLOTH上的评估验证了其长程语境建模的局限性，推动了如BERT、GPT等基于Transformer的预训练语言模型的发展。这些工作不仅深化了对语言模型推理能力的理解，还促进了主动学习与困难样本挖掘技术在自然语言处理中的融合应用。