Nemotron-Pretraining-Legal-v1

Nemotron-Pretraining-Legal-v1数据集是Nemotron预训练数据集的组成部分，专为NVIDIA Nemotron 3系列大语言模型设计，旨在通过合成数据提升模型的法律能力。在一项消融实验中，将该数据集加入Nemotron 3 Nano的预训练后，其在一个代理LegalBench基准上的平均准确率从64.6提升至74.7。数据集包含14个子集，总记录数达960万，总存储量为7.0 GB。数据内容涵盖多种法律领域和任务，主要包括四类：从HTML文件提取的原始法规文本（如加州法规、联邦法规）；由Qwen3-235B-A22B-Instruct-2507模型清理或生成的数据（如基于Caselaw生成的540万份案例摘要）；重新格式化的现有法律数据集（如转换为多选题格式的CaseHOLD）；以及为特定法律任务（如条款分类、管辖权判断、决策功能分类等）合成的问答或分类数据。数据集采用Parquet格式，包含text（主文本内容）、license（许可证）、metadata（元数据字典，含类别、所用模型等信息）和uuid（唯一标识符）四个字段。该数据集遵循CC-BY-4.0许可证，适用于法律领域大语言模型的预训练和微调。需要注意的是，其中三个子集（Contract-NLI、ToS-Clause-Understanding、ToSDR-QA）需要运行特定脚本或替换占位符才能完整使用。

The Nemotron-Pretraining-Legal-v1 dataset is a component of the Nemotron pre-training dataset, specifically designed for NVIDIA Nemotron 3 series large language models (LLMs), aiming to enhance the legal capabilities of models via synthetic data. In an ablation study, adding this dataset to the pre-training of Nemotron 3 Nano improved its average accuracy on a proxy LegalBench benchmark from 64.6 to 74.7. The dataset consists of 14 subsets, with a total of 9.6 million records and a total storage size of 7.0 GB. It covers diverse legal domains and tasks, which are mainly divided into four categories: 1. Raw regulatory text extracted from HTML files, such as California regulations and federal regulations; 2. Data cleaned or generated by the Qwen3-235B-A22B-Instruct-2507 model, such as 5.4 million case summaries generated based on Caselaw; 3. Reformatted existing legal datasets, such as CaseHOLD converted to multiple-choice format; 4. Synthetic question-answering or classification data for specific legal tasks including clause classification, jurisdiction judgment, decision function classification, etc. The dataset is stored in Parquet format and contains four fields: "text" (main text content), "license", "metadata" (a metadata dictionary including category, utilized model and other relevant information), and "uuid" (unique identifier). This dataset is licensed under CC-BY-4.0 and is applicable for pre-training and fine-tuning of large language models in the legal domain. It should be noted that three subsets (Contract-NLI, ToS-Clause-Understanding, ToSDR-QA) require running specific scripts or replacing placeholders to be fully usable.

原始信息汇总

数据集概述

Nemotron-Pretraining-Legal-v1 是 NVIDIA 发布的一个文本生成预训练数据集，旨在提升大语言模型（LLM）在法律领域的能力。该数据集属于 Nemotron Pretraining Data 系列，专为 NVIDIA Nemotron 3 模型家族设计。

• 许可证: Creative Commons Attribution 4.0 International (CC-BY-4.0)
• 语言: 英语
• 任务类别: 文本生成
• 数据集大小: 960 万样本，总存储量 7.0 GB
• 数据格式: Parquet
• 创建日期: 2026年5月18日
• 数据集拥有者: NVIDIA Corporation

数据集细分

该数据集包含 14 个子集，根据生成方式分为四类：

从 HTML 文件提取的数据集

• Nemotron-Pretraining-Legal-California-Code-Of-Regulations: 来自《加利福尼亚法规》（California Code of Regulations），排除第 6 和第 24 编。
• Nemotron-Pretraining-Legal-NYCourts-Judicial-Ethics-Opinions: 来自《纽约法院司法伦理意见》（New York Court Judicial Ethical Opinions）。
• Nemotron-Pretraining-Legal-eCFR: 来自《美国联邦法规》（Code of Federal Regulations）。

LLM 清洗的数据集

• Nemotron-Pretraining-Legal-Case-Law-Summary: 使用 Qwen3-235B-A22B-Instruct-2507 从过滤后的 Caselaw 数据集中生成 540 万条摘要。

重新格式化的数据集

• Nemotron-Pretraining-Legal-CaseHOLD: 将 CaseHOLD 数据集转换为多选题格式。
• Nemotron-Pretraining-Legal-Contract-NLI: 从 ContractNLI 数据集中提取注释并附加到源文档。注意：需运行 convert_contract_nli.py 脚本重新创建此子集。

合成数据集

• Nemotron-Pretraining-Legal-Definition-Classification: 使用 Qwen3-235B-A22B-Instruct-2507 从 Caselaw 中提取包含定义语言的段落，构建分类问题。
• Nemotron-Pretraining-Legal-Diversity-Jurisdiction: 使用模板和随机人名、州名生成关于“完全多样性”管辖权的问题，并用 Qwen3-235B-A22B-Instruct-2507 改写。
• Nemotron-Pretraining-Legal-Function-Of-Decision: 使用 Qwen3-235B-A22B-Instruct-2507 对 Caselaw 段落进行功能分类（事实、程序历史、争议点、规则、分析、结论、判决）。
• Nemotron-Pretraining-Legal-GlobalCit: 基于 GLOBALCIT 数据集转换的全球国籍法相关问题，每个问题用 Qwen3-235B-A22B-Instruct-2507 改写为三个版本。
• Nemotron-Pretraining-Legal-LegalBench-CUAD-v2: 使用 Qwen3-235B-A22B-Instruct-2507 从 CUAD 合同中提取条款并生成正负例问题。
• Nemotron-Pretraining-Legal-ToS-Clause-Understanding: 使用 Qwen3-235B-A22B-Instruct-2507 从 TOS 数据集中生成服务条款条款理解问题。注意：需用元数据中的 split 和 index 替换 <CLAUSE> 占位符。
• Nemotron-Pretraining-Legal-ToSDR-QA: 使用 Qwen3-235B-A22B-Instruct-2507 从 ToSDR 服务条款语料库中生成 Yes/No 问题。注意：需用元数据中的 filename 替换 <DOCUMENT> 占位符。
• Nemotron-Pretraining-Legal-eCFR-QA: 使用 Qwen3-235B-A22B-Instruct-2507 从《美国联邦法规》中生成多种问答数据。

数据字段

每条记录包含以下字段：

• text: 主要数据字段，预训练使用的文本内容。
• license: 样本的许可证（如 cc-by-4.0）。
• metadata: 字典，包含：
  • category: 数据类型（如子集名称）。
  • models_used: 生成数据使用的模型（如 Qwen3-235B-A22B-Instruct-2507）。
  • split 和 index（仅用于 Nemotron-Pretraining-Legal-ToS-Clause-Understanding）：用于从 TOS 数据集中选择对应条款。
  • filename（仅用于 Nemotron-Pretraining-Legal-ToSDR-QA）：用于从 ToSDR 语料库中选择对应文件。
• uuid: 数据条目的唯一标识符。

子集规模与生成模型

子集名称	包含 Token (百万)	生成模型	许可证	特殊说明
Nemotron-Pretraining-Legal-California-Code-Of-Regulations	34.9	-	cc-by-4.0
Nemotron-Pretraining-Legal-Case-Law-Summary	4026.9	Qwen3-235B-A22B-Instruct-2507	cc-by-4.0
Nemotron-Pretraining-Legal-CaseHOLD	29.3	-	cc-by-4.0
Nemotron-Pretraining-Legal-Contract-NLI	1.7	-		需运行 convert_contract_nli.py
Nemotron-Pretraining-Legal-Definition-Classification	1.4	Qwen3-235B-A22B-Instruct-2507	cc-by-4.0
Nemotron-Pretraining-Legal-Diversity-Jurisdiction	0.9	Qwen3-235B-A22B-Instruct-2507	cc-by-4.0
Nemotron-Pretraining-Legal-eCFR	131.5	-	cc-by-4.0
Nemotron-Pretraining-Legal-eCFR-QA	593.2	Qwen3-235B-A22B-Instruct-2507	cc-by-4.0
Nemotron-Pretraining-Legal-Function-Of-Decision	23.8	Qwen3-235B-A22B-Instruct-2507	cc-by-4.0
Nemotron-Pretraining-Legal-GlobalCit	7.5	Qwen3-235B-A22B-Instruct-2507	cc-by-4.0
Nemotron-Pretraining-Legal-LegalBench-CUAD-v2	53.4	Qwen3-235B-A22B-Instruct-2507	cc-by-4.0
Nemotron-Pretraining-Legal-NYCourts-Judicial-Ethics-Opinions	4.6	-	cc-by-4.0
Nemotron-Pretraining-Legal-ToS-Clause-Understanding	0.5	Qwen3-235B-A22B-Instruct-2507	cc-by-4.0	需替换 <CLAUSE> 占位符
Nemotron-Pretraining-Legal-ToSDR-QA	24.6	Qwen3-235B-A22B-Instruct-2507	cc-by-4.0	需替换 <DOCUMENT> 占位符

数据收集与标注方法

• 数据收集方法: 合成生成，使用大语言模型 Qwen3-235B-A22B-Instruct-2507。
• 标注方法: 不适用。

预期用途

该数据集旨在供社区用于改进开源模型的法律能力。NVIDIA 在 Nemotron 3 Nano 预训练中的一项消融实验显示，加入该数据集后，代理 LegalBench 平均准确率从 64.6 提升至 74.7。

引用

如果使用该数据集，请引用 NVIDIA Nemotron 3 Ultra 技术报告。

搜集汇总

数据集介绍

构建方式

Nemotron-Pretraining-Legal-v1数据集由NVIDIA精心打造，旨在增强大型语言模型在法律领域的专业能力。其构建方式多元且精细：一部分子集直接提取自官方法律文档，如《加州法规汇编》、《纽约法院司法伦理意见》及《美国联邦法规》的HTML页面；另一部分则借助先进的Qwen3-235B-A22B-Instruct-2507模型对现有法律语料进行清洗、总结与重构，例如从Caselaw数据中生成5.4M条案例法摘要。此外，数据集还包含通过模板与模型改写合成的法律问题，如管辖权多样性问答，以及将CaseHOLD、ContractNLI等经典数据集转化为预训练适用的格式。这种混合方法确保了内容的权威性、多样性与规模性。

特点

该数据集最显著的特点在于其全面覆盖法律知识的多维度性。它囊括了从法规条文、判例摘要到合同条款理解、司法伦理意见等十三个子集，总计约9.6M样本，7.0GB的文本数据。每个样本均包含统一的'text'字段作为核心预训练内容，并附有详尽的元数据，记录其类别、生成模型及特定任务的索引信息。尤为值得一提的是，部分合成数据子集在消融实验中展现出惊人效果，将Nemotron 3 Nano模型在LegalBench上的平均准确率从64.6%提升至74.7%，充分证明了其在法律智能增强方面的巨大潜力。所有数据均采用CC-BY-4.0许可，可直接用于商业用途。

使用方法

用户可通过HuggingFace平台轻松加载该数据集，其以Parquet格式存储，支持高效的数据读取。使用前需注意，三个子集（Contract-NLI、ToS-Clause-Understanding、ToSDR-QA）需要特殊处理：Contract-NLI需运行提供的`convert_contract_nli.py`脚本重建；后两者则需根据元数据中的`split`和`index`或`filename`，分别从外部数据集TOS Dataset和ToSDR Terms of Service Corpus中检索并替换`<CLAUSE>`或`<DOCUMENT>`占位符，以还原完整文本。数据集提供了13个可配置的子集名称，用户可根据研究需求选择性地加载特定子集，用于法律领域的大规模语言模型预训练或微调，是提升法律推理与理解能力的宝贵资源。

背景与挑战

背景概述

Nemotron-Pretraining-Legal-v1是由NVIDIA于2025年5月发布的大规模法律领域预训练数据集，隶属于Nemotron预训练数据集合，专为NVIDIA Nemotron 3系列大型语言模型设计。在语言模型预训练阶段，法律领域的专业知识与复杂文本结构始终是提升模型推理能力的关键瓶颈。该数据集通过集成合成数据与真实法律文书，旨在系统性增强大型语言模型在法律任务上的表现，例如法律基准测试LegalBench的平均准确率在消融实验中从64.6跃升至74.7。其构建涉及对加州法规、纽约法院伦理意见、联邦法规等结构化法律文本的提取，并结合Qwen3-235B-A22B-Instruct-2507模型进行清洗、摘要生成与问答对创建，覆盖从裁判文书分类到合同法条款理解的多元任务。作为首个面向商业用途的开放法律预训练数据集，它为法律人工智能的跨域鲁棒性提供了重要数据基础。

当前挑战

该数据集所解决的领域挑战在于语言模型对法律术语精确定义、管辖权判别、合同条款语义理解等专业任务的泛化能力不足，传统预训练语料中法律文本占比极低且常缺乏结构化标注，导致模型在法律推理中易出现逻辑混淆。构建过程中的挑战体现为三方面：其一，从Caselaw等原始法律文档中提取定义性表述需依赖大模型进行高精度分类，正负样本均衡性问题可能引入偏差；其二，合成数据集如LegalBench-CUAD-v2对合同条款的识别准确率在特定类别（如affiliate_license_licensor）上较低，需设计详细标注手册的提示工程来优化提取；其三，ToS-Clause-Understanding等子集依赖占位符替换机制，用户需从外部来源手动匹配条款内容，增加了数据复现的复杂度与一致性维护成本。

常用场景

经典使用场景

在法律自然语言处理领域，Nemotron-Pretraining-Legal-v1被广泛用作大规模语言模型的预训练语料库，尤其适用于增强模型对复杂法律文本的理解与生成能力。该数据集涵盖了法规条文、判例摘要、合同条款理解、管辖权分类、法律定义识别等多维度子集，为模型提供了从结构化法规到非结构化司法意见的丰富学习素材。研究人员通常将其作为基础训练数据，以提升模型在法律知识问答、文件分类、合同审查等下游任务中的表现，其经典使用方式是将多个子集联合用于模型的连续预训练或领域适配微调。

实际应用

在实际产业环境中，该数据集支持构建高精度的法律智能辅助系统。例如，利用其子集训练的模型可自动化完成合同关键条款（如保密义务、排他性条款）的提取与分类，将律师的人工审查效率提升数倍。在合规审查场景中，模型能基于《联邦法规》及《加州法规》内容实时回答企业关于跨境数据流动、环境合规等领域的合规性问题。司法裁判辅助领域同样受益，模型通过学习纽约州法官伦理意见及判例摘要，可为法官提供快速且精准的先例索引与争议焦点归纳，助力提升司法公正与办案效率。

衍生相关工作

该数据集衍生了多项具有影响力的学术与工程工作，最直接的是支撑了NVIDIA Nemotron 3系列模型在法律能力上的突破性提升。研究者基于其子集构建了专门的合同条款理解基准（LegalBench-CUAD-v2），推动了法律合同分析任务的标准化评估。此外，数据集中的全球国籍法问答（GlobalCit）激发了跨法系知识图谱构建的研究，而判例功能分类（Function-Of-Decision）子集成为司法文书结构解析领域的典型训练资源。行业实践上，多家法律科技公司借鉴其合成数据生成流程，开发了面向特定法域（如欧盟GDPR）的自定义预训练语料，形成了从数据生成到模型部署的完整工具链生态。