lexlms/lex_files_preprocessed

LexFiles是一个多样化的多国法律语料库，包含11个子语料库，涵盖了来自6个主要英语法律体系（欧盟、加拿大、美国、英国、印度）的立法和判例法。该语料库包含约190亿个令牌，并且是预处理的版本，文档被预先分割成512个令牌的块。数据集的主要用途是文本生成和掩码语言建模。LexFiles is a diverse multinational legal corpus consisting of 11 sub-corpora, covering legislation and case law from six major English-language legal jurisdictions: the European Union, Canada, the United States, the United Kingdom, and India. This corpus contains approximately 19 billion tokens, and it is a preprocessed dataset where all documents have been pre-split into chunks of 512 tokens. The primary use cases of this dataset are text generation and masked language modeling.

原始信息汇总

数据集卡片：LexFiles

数据集描述

数据集摘要

LeXFiles是一个新的多样化的英语跨国法律语料库，包含11个不同的子语料库，涵盖了来自6个主要英语法律体系（欧盟、欧洲人权法院、加拿大、美国、英国、印度）的立法和判例法。该语料库包含约190亿个标记。与Hendersons等人（2022年）发布的“Pile of Law”语料库相比，后者总计320亿个标记，其中大部分（26/30）来自美国，因此整体上偏向于美国法律体系，特别是联邦或州管辖。

数据集规格

语料库	语料库别名	文档数量	标记数量	百分比	采样比率 (a=0.5)	采样比率 (a=0.2)
欧盟立法	eu-legislation	93.7K	233.7M	1.2%	5.0%	8.0%
欧盟法院判决	eu-court-cases	29.8K	178.5M	0.9%	4.3%	7.6%
欧洲人权法院判决	ecthr-cases	12.5K	78.5M	0.4%	2.9%	6.5%
英国立法	uk-legislation	52.5K	143.6M	0.7%	3.9%	7.3%
英国法院判决	uk-court-cases	47K	368.4M	1.9%	6.2%	8.8%
印度法院判决	indian-court-cases	34.8K	111.6M	0.6%	3.4%	6.9%
加拿大立法	canadian-legislation	6K	33.5M	0.2%	1.9%	5.5%
加拿大法院判决	canadian-court-cases	11.3K	33.1M	0.2%	1.8%	5.4%
美国法院判决 [1]	court-listener	4.6M	11.4B	59.2%	34.7%	17.5%
美国立法	us-legislation	518	1.4B	7.4%	12.3%	11.5%
美国合同	us-contracts	622K	5.3B	27.3%	23.6%	15.0%
总计	lexlms/lexfiles	5.8M	18.8B	100%	100%	100%

[1] 仅考虑自1965年以来的美国法院判决（参考《民权法案》之后），作为依赖严重过时和在很多情况下有害的法律标准的案件的硬性门槛。其他语料库包含更近期的文档。

[2] 采样比率按照Lample等人（2019年）引入的指数采样计算。

未考虑用于预训练的额外语料库，因为它们不代表事实性法律知识。

语料库	语料库别名	文档数量	标记数量
来自C4的法律网页	legal-c4	284K	340M

引用

@inproceedings{chalkidis-garneau-etal-2023-lexlms, title = {{LeXFiles and LegalLAMA: Facilitating English Multinational Legal Language Model Development}}, author = "Chalkidis*, Ilias and Garneau*, Nicolas and Goanta, Catalina and Katz, Daniel Martin and Søgaard, Anders", booktitle = "Proceedings of the 61h Annual Meeting of the Association for Computational Linguistics", month = june, year = "2023", address = "Toronto, Canada", publisher = "Association for Computational Linguistics", url = "https://aclanthology.org/xxx", }

搜集汇总

数据集介绍

构建方式

LexFiles数据集是一个面向多国英语法律文本的大规模预训练语料库，由哥本哈根大学等机构的研究团队构建。该数据集整合了来自欧盟、英国、美国、加拿大和印度等六个主要英语司法管辖区的立法与判例法文本，涵盖11个不同的子语料库。原始文档被预先分割为512个令牌的片段，以适配主流语言模型的输入长度限制。数据来源包括公开的法律数据库和已有语料库，如美国法院判决（自1965年起）和英国立法等。构建过程中还引入了指数采样策略，以平衡各子语料库在训练中的比例，确保模型能接触到多样化的法律语境。

特点

LexFiles数据集的核心特点在于其跨国别、跨法系的多样性，总令牌数约达190亿，显著缓解了此前法律语料库（如Pile of Law）过度偏向美国法律体系的问题。其子语料库涵盖立法文本、法院判决和合同文书，时间跨度从1965年至今，排除了过时或有害的法律标准。数据集的规模分布不均，美国法院判决占比最高（约59%），但通过采样策略调整了实际使用比例。此外，该数据集专为语言建模任务设计，支持文本生成和掩码语言建模等自监督学习范式。

使用方法

LexFiles数据集可直接用于预训练或微调法律领域的语言模型，支持掩码语言建模和文本生成任务。用户可通过HuggingFace Datasets库加载，并指定子语料库名称（如'eu_legislation'或'us_court_cases'）以选择特定法律文本。由于文档已预分割为512令牌的片段，无需额外处理即可直接输入模型。建议在训练时参考论文中的指数采样比例（如alpha=0.5或0.2），以平衡不同子语料库的贡献。数据集采用CC-BY-NC-SA 4.0许可协议，适用于非商业研究与学术用途。

背景与挑战

背景概述

在法律人工智能领域，构建高质量的多司法管辖区法律语料库是推动法律语言模型发展的关键基石。由哥本哈根大学Ilias Chalkidis、Nicolas Garneau等研究人员于2022年创建的LeXFiles语料库，正是为了应对现有法律语料库高度偏向美国法律体系（如Pile of Law中美国数据占比超80%）的局限性而诞生的。该数据集整合了来自欧盟、英国、加拿大、美国、印度等六个主要英语法律体系的立法与判例法，涵盖11个子语料库，总计约190亿词元。其核心研究问题在于构建一个真正意义上的跨国法律预训练语料库，以促进多司法管辖区法律语言模型的发展。LeXFiles的发布为法律NLP领域提供了更均衡、更具代表性的训练资源，对提升法律文本理解、跨法域迁移学习等任务具有深远影响。

当前挑战

LeXFiles数据集所面临的挑战主要体现在两个层面。在领域问题层面，现有法律语料库普遍存在司法管辖区分布不均的问题，导致预训练模型对美国法律体系过度拟合，难以泛化到其他法域；同时，法律文本的领域特殊性（如大量引用、专业术语、结构化格式）使得通用语言模型效果不佳。在构建过程中，研究者需解决多个技术难题：首先，从不同来源（如CourtListener、欧洲法院门户等）收集异构数据时，需统一格式并处理缺失元数据；其次，需制定合理的采样策略（如指数采样）以平衡各子语料库的规模差异，避免模型偏向美国数据（占59.2%）；最后，需设置时间阈值（如美国判例仅保留1965年后的案例）以排除过时或有害的法律标准，确保数据的时效性与伦理性。

常用场景

经典使用场景

LexFiles数据集在自然语言处理与法律智能的交叉领域中，常被用于训练跨司法管辖区的法律语言模型。其涵盖欧盟、英国、美国、加拿大、印度等六个主要英语法律体系的立法与判例法文本，经过512词元的预切分处理，为语言建模与掩码语言建模任务提供了标准化输入。研究者可利用其11个子语料库构建多领域预训练语料，例如结合美国法院判决与欧盟法规，以增强模型在不同法系下的语义理解能力，从而推动法律文本生成与知识表征的泛化性能提升。

实际应用

在实际应用中，LexFiles可赋能跨国法律文书自动化处理系统，例如智能合同审查、判例检索与法规合规分析。基于其预训练的语言模型能够识别不同国家法律文本中的关键条款与逻辑关系，辅助律师或法务团队快速比对英美法系与大陆法系的异同。此外，该数据集还可用于开发面向多法域的问答系统，帮助法律从业者从海量判例中提取裁判要旨，或为立法机构提供跨辖区法律演变的统计洞察。

衍生相关工作

LexFiles的发布催生了多项经典研究工作，包括LegalLAMA基准测试的构建，该测试利用数据集中的法律事实知识评估语言模型的记忆与推理能力。后续研究以其为基础，开发了多任务法律预训练模型（如Legal-BERT的跨国版本），并探索了指数采样策略在不同法系语料上的效果。此外，该数据集被用于验证对比学习在法律文本嵌入中的有效性，以及推动低资源司法辖区的法律NLP模型迁移学习，例如将美国法院判决预训练的知识适配至印度判例分析任务。