遇见数据集

daqc/constitucion_politica_del_peru_1993_q_argilla

收藏
Hugging Face2024-04-08 更新2024-06-11 收录
官方服务:

资源简介:

该数据集是通过Argilla创建的,包含与HuggingFace `datasets`库兼容的记录。数据集的结构包括字段、问题、建议、元数据、向量和注释指南。数据集的主要用途是用于不同的NLP任务,具体取决于配置。数据集的加载可以通过Argilla或`datasets`库完成。

该数据集是通过Argilla创建的,包含与HuggingFace `datasets`库兼容的记录。数据集的结构包括字段、问题、建议、元数据、向量和注释指南。数据集的主要用途是用于不同的NLP任务,具体取决于配置。数据集的加载可以通过Argilla或`datasets`库完成。

提供机构:
daqc
原始信息汇总

数据集卡片 for constitucion_politica_del_peru_1993_q_argilla

数据集描述

  • 主页: https://argilla.io
  • 仓库: https://github.com/argilla-io/argilla
  • 论文:
  • 排行榜:
  • 联系人:

数据集概述

该数据集包含:

  • 符合 Argilla 数据集格式的配置文件 argilla.yaml。该配置文件将在使用 Argilla 的 FeedbackDataset.from_huggingface 方法时用于配置数据集。
  • 兼容 HuggingFace datasets 格式的数据集记录。这些记录在使用 FeedbackDataset.from_huggingface 时会自动加载,也可以通过 datasets 库的 load_dataset 方法独立加载。
  • 用于构建和整理数据集的标注指南(如果在 Argilla 中定义了)。

加载方式

使用 Argilla 加载

安装 Argilla:pip install argilla --upgrade,然后使用以下代码:

python import argilla as rg

ds = rg.FeedbackDataset.from_huggingface("daqc/constitucion_politica_del_peru_1993_q_argilla")

使用 datasets 加载

安装 datasets:pip install datasets --upgrade,然后使用以下代码:

python from datasets import load_dataset

ds = load_dataset("daqc/constitucion_politica_del_peru_1993_q_argilla")

支持的任务和排行榜

该数据集可以包含多个字段、问题和响应,因此可以根据配置用于不同的 NLP 任务。数据集结构在数据集结构部分中描述。

该数据集没有关联的排行榜。

语言

[需要更多信息]

数据集结构

数据在 Argilla 中

数据集在 Argilla 中创建,包含:字段、问题、建议、元数据、向量和指南。

字段是数据集记录本身,目前仅支持文本字段。这些字段将用于提供对问题的响应。

字段名称 标题 类型 必填 支持 Markdown
input input text True True
instructions instructions text True False

问题是向标注者提出的问题。它们可以是不同类型,如评分、文本、标签选择、多标签选择或排序。

问题名称 标题 类型 必填 描述 值/标签
instruction-rating 您如何评价生成的指令? rating True N/A [1, 2, 3, 4, 5, 6, 7, 8, 9, 10]
curated-instruction 准确的指令 text True 如果您认为指令不准确,请纠正它。如果原始指令可以,请复制粘贴到这里。 N/A

建议是人为或机器生成的推荐,以协助标注者在标注过程中。这些建议总是与现有问题相关联,并且名称附加 "-suggestion" 和 "-suggestion-metadata",包含建议的值及其元数据。

元数据是一个字典,可用于提供有关数据集记录的额外信息。这可以为标注者提供额外的上下文,或提供有关数据集记录本身的额外信息。元数据总是可选的,并且可以与 argilla.yaml 中定义的 metadata_properties 相关联。

✨ 新功能 向量是包含浮点数的不同列,这些列在配置向量时受预定义维度约束,维度始终为 1 维。向量是可选的,并且在 argilla.yaml 中由预定义的向量名称标识。

向量名称 标题 维度
input input [1, 384]
instructions instructions [1, 384]
元数据名称 标题 类型 值 对标注者可见
length-input length-input integer None - None True
length-instruction length-instruction integer None - None True
input_n_tokens Input N Tokens integer None - None True
input_n_unique_tokens Input N Unique Tokens integer None - None True
input_n_sentences Input N Sentences integer None - None True
input_perplexity Input Perplexity float None - None True
input_entropy Input Entropy float None - None True
input_flesch_reading_ease Input Flesch Reading Ease float None - None True
instructions_n_tokens Instructions N Tokens integer None - None True
instructions_n_unique_tokens Instructions N Unique Tokens integer None - None True
instructions_n_sentences Instructions N Sentences integer None - None True
instructions_perplexity Instructions Perplexity float None - None True
instructions_entropy Instructions Entropy float None - None True
instructions_flesch_reading_ease Instructions Flesch Reading Ease float None - None True

指南是可选的,只是一个可以向标注者提供指令的纯字符串。请参阅标注指南部分。

数据实例

Argilla 中的数据集实例示例如下:

json { "external_id": null, "fields": { "input": "CONSTITUCIÓN POLÍTICA DEL PERÚ P R E Á M B U L O EL CONGRESO CONSTITUYENTE DEMOCRÁTICO INVOCANDO A DIOS TODOPODEROSO OBEDECIENDO EL MANDATO DEL PUEBLO PERUANO Y RECORDANDO EL SACRIFICIO DE TODAS LAS GENERACIONES QUE NOS HAN PRECEDIDO EN NUESTRA PATRIA HA RESUELTO DAR LA SIGUIENTE CONSTITUCION TÍTULO I DE", "instructions": "¿Cuál es el propósito del Preámbulo en la Constitución Política del Perú?" }, "metadata": { "generation-model": "mistralai/Mixtral-8x7B-Instruct-v0.1", "input_entropy": 0.09, "input_flesch_reading_ease": 63.42, "input_n_sentences": 7, "input_n_tokens": 51, "input_n_unique_tokens": 47, "input_perplexity": 1.1, "instructions_entropy": 0.03, "instructions_flesch_reading_ease": 74.81, "instructions_n_sentences": 1, "instructions_n_tokens": 12, "instructions_n_unique_tokens": 11, "instructions_perplexity": 1.03, "length-input": 305, "length-instructions": 73 }, "responses": [], "suggestions": [], "vectors": {} }

HuggingFace datasets 中的相同记录示例如下:

json { "curated-instruction": [], "curated-instruction-suggestion": null, "curated-instruction-suggestion-metadata": { "agent": null, "score": null, "type": null }, "external_id": null, "input": "CONSTITUCIÓN POLÍTICA DEL PERÚ P R E Á M B U L O EL CONGRESO CONSTITUYENTE DEMOCRÁTICO INVOCANDO A DIOS TODOPODEROSO OBEDECIENDO EL MANDATO DEL PUEBLO PERUANO Y RECORDANDO EL SACRIFICIO DE TODAS LAS GENERACIONES QUE NOS HAN PRECEDIDO EN NUESTRA PATRIA HA RESUELTO DAR LA SIGUIENTE CONSTITUCION TÍTULO I DE", "instruction-rating": [], "instruction-rating-suggestion": null, "instruction-rating-suggestion-metadata": { "agent": null, "score": null, "type": null }, "instructions": "¿Cuál es el propósito del Preámbulo en la Constitución Política del Perú?", "metadata": "{"length-input": 305, "length-instructions": 73, "generation-model": "mistralai/Mixtral-8x7B-Instruct-v0.1", "input_n_tokens": 51, "input_n_unique_tokens": 47, "input_n_sentences": 7, "input_perplexity": 1.1, "input_entropy": 0.09, "input_flesch_reading_ease": 63.42, "instructions_n_tokens": 12, "instructions_n_unique_tokens": 11, "instructions_n_sentences": 1, "instructions_perplexity": 1.03, "instructions_entropy": 0.03, "instructions_flesch_reading_ease": 74.81}", "vectors": { "input": null, "instructions": null } }

数据字段

在数据集字段中,我们区分以下内容:

  • 字段: 这些是数据集记录本身,目前仅支持文本字段。这些字段将用于提供对问题的响应。

    • input 类型为 text。
    • instructions 类型为 text。
  • 问题: 这些是向标注者提出的问题。它们可以是不同类型,如 RatingQuestion、TextQuestion、LabelQuestion、MultiLabelQuestion 和 RankingQuestion。

    • instruction-rating 类型为 rating,允许值为 [1, 2, 3, 4, 5, 6, 7, 8, 9, 10]。
    • curated-instruction 类型为 text,描述为 "如果您认为指令不准确,请纠正它。如果原始指令可以,请复制粘贴到这里。"。
  • 建议: 自 Argilla 1.13.0 起,建议已包含在内,以提供标注者在标注过程中简化或协助。建议与现有问题相关联,总是可选的,并且不仅包含建议本身,还包含其相关元数据(如果适用)。

    • (可选) instruction-rating-suggestion 类型为 rating,允许值为 [1, 2, 3, 4, 5, 6, 7, 8, 9, 10]。
    • (可选) curated-instruction-suggestion 类型为 text。
  • ✨ 新功能 向量: 自 Argilla 1.19.0 起,向量已包含在内,以添加对基于向量搜索的相似性搜索的支持。向量是可选的,不能在 UI 中看到,这些是上传并在内部使用的。向量始终是可选的,并且仅限于在其设置中预定义的维度。

    • (可选) input 类型为 float32,维度为 (1, 384)。
    • (可选) instructions 类型为 float32,维度为 (1, 384)。

此外,还有两个可选字段:

  • 元数据: 这是一个可选字段,可用于提供有关数据集记录的额外信息。这可以为标注者提供额外的上下文,或提供有关数据集记录本身的额外信息。元数据总是可选的,并且可以与 argilla.yaml 中定义的 metadata_properties 相关联。
  • external_id: 这是一个可选字段,可用于为数据集记录提供外部 ID。如果您想将数据集记录链接到外部资源(如数据库或文件),这可能很有用。

数据分割

数据集包含一个分割,即 train。

搜集汇总
数据集介绍
构建方式
该数据集基于Argilla平台构建,旨在为秘鲁1993年宪法的文本内容生成高质量指令。构建过程中,首先从宪法原文中提取文本片段作为输入字段,随后利用Mistral AI的Mixtral-8x7B-Instruct-v0.1模型自动生成对应的指令。数据集包含约数千条记录,每条记录均附有丰富的元数据,如词元数量、句子数、困惑度、熵值和可读性指标,以量化文本特征。此外,通过Argilla的反馈机制,数据集还集成了人工标注的评分与修正功能,确保指令的准确性和可靠性。
特点
数据集的核心特点在于其双重结构设计:一方面,它提供了宪法原文与生成指令的配对,支持基于人类反馈的强化学习任务;另一方面,它包含了详细的标注问题,如对指令质量的10级评分和文本修正字段,便于进行指令微调与评估。每条记录还嵌入了384维的向量表示,可用于相似性搜索。元数据覆盖了输入和指令的多种语言统计特征,为模型训练提供了丰富的上下文信息。整体上,数据集兼具原始文本、生成指令、人工反馈和向量化表示,适用于多层次的NLP研究。
使用方法
使用该数据集有两种途径。通过Argilla库,可调用rg.FeedbackDataset.from_huggingface方法直接加载,适用于需要交互式标注或利用Argilla反馈功能的场景。若仅需原始数据,可使用datasets库的load_dataset函数加载,获得标准的HuggingFace数据集格式。加载后,用户可访问字段如input和instructions,以及标注结果如instruction-rating和curated-instruction。建议结合元数据中的语言特征进行数据筛选,或利用向量字段进行基于相似度的记录检索,以优化模型训练效果。
背景与挑战
背景概述
在自然语言处理与法律智能交叉领域,高质量指令数据的构建是提升模型对特定领域文本理解与生成能力的关键。由Argilla平台主导创建的daqc/constitucion_politica_del_peru_1993_q_argilla数据集,聚焦于秘鲁1993年宪法文本,旨在通过人工反馈机制优化模型对法律条文的问答指令质量。该数据集由秘鲁数据与质量中心(DAQc)于近期推出,核心研究问题在于如何利用人类标注者的精炼与评分,从原始宪法片段中生成准确、可用的问答对,以服务于法律知识检索、自动问答系统等应用。其影响力体现在为低资源法律语言处理提供了可复用的反馈型数据集范式,尤其针对西班牙语法律语料库的稀缺现状,推动了宪法领域指令微调数据的标准化建设。
当前挑战
该数据集面临的核心挑战首先在于法律文本的领域特殊性:秘鲁宪法条文语言严谨、结构复杂,且包含大量历史与宗教背景,使得自动生成的指令容易偏离原文意图或产生歧义,需要标注者具备较高的法律素养以进行精准修正。其次,构建过程中的挑战体现在数据质量控制的复杂性上,包括如何设计有效的评分机制(如1-10级评定量表)以区分指令优劣,以及如何处理标注者主观差异导致的评分不一致问题。此外,向量嵌入的引入虽便于相似性搜索,但384维的低维表示可能难以完整捕捉宪法文本的深层语义关系,从而影响后续模型对法律逻辑的推理能力。这些挑战共同制约着数据集在真实法律场景中的泛化效能。
常用场景
经典使用场景
该数据集围绕秘鲁1993年《政治宪法》文本,采用Argilla框架构建,核心用途在于支持指令生成与质量评估的强化学习从人类反馈(RLHF)任务。研究者可将宪法原文作为输入字段,结合自动生成的指令(如针对序言目的提问),通过人工评分与修正来优化指令的准确性与可读性。这一场景尤其适用于低资源语言的法律NLP研究,为宪法领域构建高质量的指令微调数据提供了标准化范式。
衍生相关工作
该数据集衍生的工作主要集中于法律领域的指令微调与人类反馈对齐。例如,基于其评分机制可训练奖励模型(Reward Model),用于过滤低质量指令或排序候选回答;结合元数据中的文本可读性指标,可研究指令难度与模型性能的权衡,催生了面向低资源语言的指令数据增强方法。此外,该数据集为Argilla框架在特定法律语种上的适配提供了案例,启发了后续如西班牙宪法、巴西民法典等类似数据集的构建,推动了多语言法律NLP的标准化进程。
数据集最近研究
最新研究方向
该数据集聚焦于利用人类反馈强化学习(RLHF)技术,对基于1993年《秘鲁政治宪法》文本生成的指令进行质量评估与精校。当前前沿方向在于将法律领域专业知识与偏好对齐机制深度融合,通过构建包含宪法原文片段与相应问答指令的配对样本,借助Argilla平台实现人工标注对指令准确性、清晰度的多维度评分与修正。这一研究路径呼应了大型语言模型在司法辅助、法律咨询等场景中面临的可靠性挑战,尤其针对西语法律文本的细粒度理解与生成需求。数据集通过嵌入向量化表征与困惑度等元数据,为探索指令质量与文本复杂度、语义熵之间的关联提供了量化分析基础,其影响力体现在为构建合规、低偏见的法律领域指令数据集树立了范式,推动RLHF技术在专业语料上的可解释性研究。
以上内容由遇见数据集搜集并总结生成
二维码
社区交流群
二维码
科研交流群
商业服务