mteb/ContractNLINoLicensingLegalBenchClassification

ContractNLINoLicensingLegalBenchClassification数据集是ContractNLI的一个子集，用于法律领域的文本分类任务，具体是判断NDA条款是否授予接收方对机密信息的权利。该数据集包含训练集和测试集，共有170个样本。ContractNLINoLicensingLegalBenchClassification is a subset of ContractNLI, designed for text classification tasks in the legal domain, specifically to determine whether an NDA clause grants the Receiving Party any right to Confidential Information. The dataset includes both a training set and a test set, totaling 170 samples.

搜集汇总

数据集介绍

构建方式

ContractNLINoLicensingLegalBenchClassification 数据集源自 ContractNLI 与 LegalBench 两大法律文本基准的交叉整合，专注于从保密协议（NDA）条款中判定某一具体法律主张是否成立，即协议是否未授予接收方任何关于保密信息的权利。该数据集由法律领域专家进行精细标注，确保标签的准确性与专业性。其构建过程保留了原始语料的司法语境，通过二元分类任务形式，将法律文本推理目标聚焦于单一、明确的逻辑关系判别。数据集划分包含8条训练样本与162条测试样本，样本规模虽小，但高度针对法律推理的细粒度需求，体现了在法律人工智能研究中以质取胜的数据设计理念。

特点

该数据集的核心特点在于其极致的领域专精与任务聚焦性。作为 MTEB（大规模文本嵌入基准）的一部分，它专门面向法律文本的分类挑战，样本均来源于真实的保密协议条款，具有鲜明的法律语言风格与严谨的逻辑结构。测试集与训练集在文本内容上无交集，保证了评估的公正性。标签分布均衡，正负样本比例接近1:1，避免了类别不平衡对模型评估的干扰。此外，样本长度跨度适中（72至1976字符），既保留了条款的完整性，又适合嵌入模型的输入限制，为法律语义理解提供了一个高度可控且极具代表性的评测场景。

使用方法

该数据集的使用高度集成于 MTEB 评估框架，用户可通过简洁的 Python 接口快速调用。首先导入 mteb 库，利用 get_tasks 方法指定任务名称加载该数据集，随后实例化 MTEB 评估器并传入待评估的嵌入模型，最后调用 run 方法完成端到端的评测流程。数据集已预设训练与测试划分，无需额外预处理。建议用户结合 LegalBench 的原始论文与 MTEB 的官方文档，深入理解任务背景与评估指标。该方式不仅降低了法律 NLP 研究的入门门槛，也为法律文本嵌入模型的标准化比较提供了可靠的基础设施。

背景与挑战

背景概述

在法律人工智能领域，对合同文本进行细粒度的语义理解与推理是近年来的研究热点。ContractNLINoLicensingLegalBenchClassification数据集由斯坦福大学等机构的研究人员于2023年创建，作为LegalBench基准测试的一部分，旨在评估语言模型对保密协议中特定条款的解读能力。该数据集聚焦于一个核心研究问题：判断保密协议中的某一条款是否明确声明协议不授予接收方任何关于保密信息的权利。通过对这一高度专业化的法律推理任务进行标准化评估，该数据集为衡量大型语言模型在法律文本理解方面的性能提供了关键参考，对推动法律科技与自然语言处理交叉领域的发展具有重要意义。

当前挑战

该数据集面临的挑战主要体现在两个方面。首先，从领域问题来看，法律文本推理本身极具难度，合同条款的语言往往严谨且充满歧义，模型需要准确区分“不授予权利”与“授予有限权利”等细微差别，这对语义理解提出了极高要求。其次，在数据集构建过程中，数据规模极为有限——训练集仅含8个样本，测试集162个样本，且文本长度分布不均（从72到1976字符不等）。如此小样本的标注数据不仅增加了模型过拟合的风险，也对评估结果的统计显著性构成挑战，同时要求模型具备强大的零样本或小样本泛化能力。

常用场景

经典使用场景

在自然语言处理与法律文本分析的交叉领域中，ContractNLINoLicensingLegalBenchClassification数据集主要服务于法律文本分类任务，其核心场景是判断保密协议（NDA）中的特定条款是否明确声明协议不授予接收方任何获取机密信息的权利。该数据集是ContractNLI的子集，聚焦于“无许可”这一关键法律概念，为评估文本嵌入模型在法律语义理解上的表现提供了精细化的基准。通过将法律条款转化为二分类问题，它支持研究者验证模型对复杂法律逻辑的捕捉能力，尤其是在区分许可授予与权利保留这类微妙差异时，展现了其在法律自然语言推理中的经典应用价值。

衍生相关工作

围绕ContractNLINoLicensingLegalBenchClassification，学术界已衍生出一系列具有影响力的工作。其中，LegalBench基准测试系统性地整合了该数据集，将其作为法律推理能力评估的核心组件之一，推动了多类语言模型在法律领域泛化性能的横向对比研究。ContractNLI原始数据集则提供了更广泛的文档级自然语言推理框架，为该子任务提供了理论基础与数据源。此外，MTEB与MMTEB文本嵌入基准将本数据集纳入评测体系，使得研究者能够评估不同嵌入模型在法律语义空间中的聚类与区分能力，进而催生了针对法律文本的专用嵌入模型优化方案，如通过对比学习强化对条款否定关系的表示学习。

数据集最近研究

最新研究方向

在法律文本智能分析的前沿领域，ContractNLINoLicensingLegalBenchClassification数据集聚焦于非公开协议（NDA）中关于保密信息授权条款的语义判别，这一研究方向与生成式人工智能在司法场景中的合规审查需求紧密相连。该数据集通过精细化的二元分类任务，评估大规模语言模型对法律文书中隐性权利关系的理解能力，为构建可信赖的合同审查系统提供了关键基准。作为MTEB和LegalBench的重要组成部分，它推动了法律推理评估从粗粒度事实抽取向细粒度逻辑推演的跃迁，其意义在于弥合自然语言处理技术与专业法律实务之间的鸿沟，为自动化合同风险预警、知识产权保护等热点应用奠定了实验基础。