LawReasoningBenchmark

本研究构建了一个高质量的法律案例描述数据集，其中包含多级别的标注事实、证据以及相关事实之间的链接和涉及的经验，遵循研究设计的模式，并展示了法律推理过程的明确路径。数据集通过众包方式构建，利用公开可用的数据，并实施严格的标注过程控制，确保了数据标注的可靠性和质量。该数据集旨在为法律推理模拟提供支持，解决法律领域中证据解释与司法决策之间的差距问题。This study constructs a high-quality legal case description dataset that includes multi-level annotated facts, evidence, links between related facts, and relevant experience. Aligned with the pre-defined research design framework, the dataset showcases explicit pathways of the legal reasoning process. It is developed via crowdsourcing, leveraging publicly available data, and incorporates strict annotation process control to ensure the reliability and quality of the annotated data. This dataset aims to support legal reasoning simulations, bridging the gap between evidence interpretation and judicial decision-making in the legal domain.

搜集汇总

数据集介绍

构建方式

LawReasoningBenchmark 数据集的构建采用了两阶段众包方法。首先，通过小规模试点研究，邀请多位工作人员对文档进行标注，并由法律专业人士评估标注质量。这一阶段帮助确保了标注方法的可靠性，并总结了一系列标注和测试质量的技巧。然后，通过教程和资格测试对大量众包人员进行培训和认证。在第二阶段，包括两个阶段：自动标注阶段和人工精炼阶段。自动标注阶段使用基于提示的方法对未标注数据进行标注，而人工精炼阶段则使用 Label Studio 平台对自动标注结果进行人工校对和优化。

特点

LawReasoningBenchmark 数据集具有以下特点：首先，它是一个高质量的案例描述数据集，包含多层标注的事实、证据和关联事实之间的链接，以及涉及的经验，这些数据遵循我们的模式，展示了法律推理过程的明确路径。其次，该数据集涵盖了 453 个案例，2,627 个事实，14,578 份证据和 16,414 个经验。此外，我们还构建了一个超过 40,000 个样本的指令数据集，可以用于微调 LLM。

使用方法

使用 LawReasoningBenchmark 数据集的方法包括以下步骤：首先，将未标注的数据从中国裁判文书网收集，每个样本描述一个现实世界的案例。然后，使用两阶段众包方法对数据进行标注。在第一阶段，通过小规模试点研究，邀请多位工作人员对文档进行标注，并由法律专业人士评估标注质量。这一阶段帮助确保了标注方法的可靠性，并总结了一系列标注和测试质量的技巧。然后，通过教程和资格测试对大量众包人员进行培训和认证。在第二阶段，包括两个阶段：自动标注阶段和人工精炼阶段。自动标注阶段使用基于提示的方法对未标注数据进行标注，而人工精炼阶段则使用 Label Studio 平台对自动标注结果进行人工校对和优化。

背景与挑战

背景概述

法律推理作为公正裁决的关键环节，其重要性不言而喻。然而，在人工智能（AI）应用于法律领域的过程中，法律推理的研究却相对滞后。为了解决这一问题，Jiaxin Shen等人于2025年提出了一个名为LawReasoningBenchmark的数据集，旨在为大型语言模型（LLM）提供一个包含事实、证据和经验等层级结构的法律推理框架，以实现法律推理过程的透明化和可解释性。该数据集的创建填补了法律推理领域的空白，为AI辅助法律推理的研究和应用提供了重要的数据基础。

当前挑战

LawReasoningBenchmark数据集面临的挑战主要包括：1) 如何从大量的证据材料中准确确定最终犯罪事实，构建逻辑严谨、证据支持的法律推理结构；2) 如何将法律推理过程进行可视化，以便法官和公众能够清晰地了解推理过程，从而提高司法公正性和透明度；3) 如何确保法律推理模型的准确性和可靠性，避免因个人偏见和经验不足导致的误判。此外，数据集的构建过程中也面临着标注质量控制和伦理问题等挑战。

常用场景

经典使用场景

该数据集旨在为法律推理提供一个透明的框架，通过树状结构组织事实、证据和经验，以实现公正的裁决。它可以用于模拟法庭审判过程，从无结构的文本案例描述中生成层次分明的法律推理结构。每个节点涉及从证据到临时待证事实，再到最终待证事实的一系列推理步骤。此外，该数据集还可以用于评估法律分析工具的效能，以及开发能够模拟法律推理过程的智能代理框架。

解决学术问题

该数据集解决了现有AI法官在处理法律推理方面的不足。它通过提供一个结构化的框架，将证据、事实和经验联系起来，使得法律推理过程更加透明和可解释。此外，该数据集还为法律推理的模拟提供了一个基准，有助于推动AI在法律领域的应用。

衍生相关工作

该数据集的衍生相关工作包括：1. 开发基于该数据集的法律推理模型，以提高法律推理的准确性和效率；2. 研究法律推理的模拟方法，以提高AI在法律领域的应用能力；3. 构建智能代理框架，以模拟法庭审判过程，从而为司法决策提供支持。