nicholasKluge/instruct-aira-dataset-v2

该数据集包含用户与助手之间的单轮对话集合，对话是通过与已调优模型（如ChatGPT、LLama 2、Open-Assistant等）的交互生成的。数据集支持葡萄牙语和英语，适用于多种自然语言处理任务，包括语言建模、问答系统、聊天机器人开发、语言模型评估和对齐研究。数据集的创建是为了支持Nicholas Kluge的博士论文研究，资金来源包括CNPq、FAPERGS和DAAD。数据集不包含个人或敏感信息，且没有使用人工标注。

This dataset contains a collection of single-turn conversations between an assistant and a user. Conversations were generated by user interactions with already-tuned models (ChatGPT, LLama 2, Open-Assistant, etc). The dataset is available in Portuguese and English and can be utilized for various natural language processing tasks, including language modeling, question-answering systems, chatbot development, evaluation of language models, and alignment research. The dataset was developed as part of Nicholas Kluges doctoral dissertation, funded by CNPq, FAPERGS, and DAAD. It does not contain personal or sensitive information and was not annotated by humans.

原始信息汇总

Instruct-Aira Dataset version 2.0

数据集概述

数据集摘要

该数据集包含助手和用户之间的单轮对话集合。对话由用户与已调优模型（如ChatGPT、LLama 2、Open-Assistant等）的交互生成。数据集提供葡萄牙语和英语版本。

支持的任务和排行榜

该数据集可用于多种自然语言处理任务，包括但不限于：

• 语言建模
• 问答系统
• 聊天机器人开发
• 语言模型评估
• 对齐研究

语言

英语和葡萄牙语。

数据集结构

数据实例

数据集包含以下特征：

• 对话ID： 对话的标识符。
• 对话： 遵循聊天格式的字典列表。

数据字段

python [ {role: user, content: 什么是语言模型？}, {role: assistant, content: 语言模型是词汇表上的概率分布。}, ]

数据分割

可用的分割为 english 和 portuguese。

python from datasets import load_dataset

dataset = load_dataset("nicholasKluge/instruct-aira-dataset-v2", split=portuguese)

数据集创建

策划理由

该数据集作为Nicholas Kluge博士论文的一部分开发，论文题目为“Dynamic Normativity: Necessary and Sufficient Conditions for Value Alignment”。该研究由CNPq（巴西国家科学和技术发展基金会）、FAPERGS（南里奥格兰德州研究基金会）和DAAD（德国学术交流服务）资助，与PUCRS（南里奥格兰德州天主教大学）和波恩大学的哲学系相关联。

源数据

初始数据收集和规范化

所有完成内容均通过查询已调优模型（如ChatGPT、LLama 2、Open-Assistant等）生成。提示来自公开可用的数据集。

源语言生产者

所有完成内容均通过查询已调优模型（如ChatGPT、LLama 2、Open-Assistant等）生成。提示来自公开可用的数据集。

注释

注释过程

所有完成内容均通过查询已调优模型（如ChatGPT、LLama 2、Open-Assistant等）生成。提示来自公开可用的数据集。

注释者

未使用注释者。

个人和敏感信息

该数据集不包含任何个人或敏感信息。

使用数据的注意事项

数据集的社会影响

无注意事项。

偏见的讨论

无注意事项。

其他已知限制

无注意事项。

附加信息

数据集策展人

Nicholas Kluge Corrêa。

许可信息

该数据集根据Apache License, version 2.0许可。

引用信息

latex @misc{nicholas22aira, doi = {10.5281/zenodo.6989727}, url = {https://github.com/Nkluge-correa/Aira}, author = {Nicholas Kluge Corrêa}, title = {Aira}, year = {2023}, publisher = {GitHub}, journal = {GitHub repository}, }

@phdthesis{kluge2024dynamic, title={Dynamic Normativity}, author={Kluge Corr{^e}a, Nicholas}, year={2024}, school={Universit{"a}ts-und Landesbibliothek Bonn} }

贡献

如需贡献，请联系[e-mail]。

搜集汇总

数据集介绍

构建方式

该数据集源自Nicholas Kluge博士论文《Dynamic Normativity》的研究工作，旨在为价值对齐研究提供支撑。构建过程中，数据集通过已调优的模型（如ChatGPT、LLama 2、Open-Assistant等）生成完整对话，而提示语则从公开数据集中采集。所有对话均为单轮交互，覆盖葡萄牙语和英语两种语言，每个语言版本均包含81,617条样本，形成对称的双语资源。数据以对话ID和遵循聊天格式的字典列表结构存储，便于直接用于语言模型的微调与评估。

特点

数据集的核心特点在于其双语对齐性与单轮对话的简洁结构。葡萄牙语和英语版本在样本数量上完全一致，为跨语言研究提供了均衡的基准。对话内容由多种先进模型生成，融合了不同系统的回复风格，增强了数据的多样性。此外，数据集明确聚焦于指令遵循和价值对齐任务，无需额外标注，降低了使用门槛。其Apache 2.0许可协议进一步促进了学术与工业界的广泛共享与复用。

使用方法

使用者可通过Hugging Face的datasets库便捷加载数据集，指定'portuguese'或'english'分割即可获取对应语言版本。数据格式采用标准聊天模板，每个对话实例包含'role'和'content'字段，可直接适配transformers库的对话生成流程。该数据集适用于语言建模、问答系统、聊天机器人开发以及模型对齐性评估等任务。研究者可基于其单轮结构快速构建训练或测试集，无需额外预处理，从而加速实验迭代。

背景与挑战

背景概述

Instruct-Aira Dataset version 2.0 是 Nicholas Kluge Corrêa 在其博士论文《Dynamic Normativity: Necessary and Sufficient Conditions for Value Alignment》框架下构建的多轮单轮对话数据集，由巴西 PUCRS 大学与德国波恩大学联合支持，并获 CNPq、FAPERGS 及 DAAD 资助。该数据集于 2023 年至 2024 年间创建，聚焦于语言模型的对齐研究、指令遵循与对话生成任务，旨在为价值对齐提供大规模、双语（英语与葡萄牙语）的监督微调资源。通过整合来自 ChatGPT、LLaMA 2、Open-Assistant 等已调优模型的交互生成内容，该数据集为探索动态规范性条件下的人工智能伦理对齐提供了实证基础，对多语言自然语言处理与对齐研究领域具有开拓性影响。

当前挑战

该数据集面临的核心挑战包括：首先，在领域问题层面，现有对齐数据集多集中于英语，缺乏高质量、大规模的双语对齐资源，尤其在葡萄牙语等低资源语言上，模型价值对齐与指令遵循能力评估困难重重，限制了多语言 AI 系统的公平性与泛化能力。其次，在构建过程中，数据全部由已调优模型生成，缺乏人工标注与验证，可能引入模型自身的偏见与错误模式，导致数据质量与真实性难以保证。此外，单轮对话结构虽便于训练，却无法捕捉多轮交互中的上下文依赖与动态规范更新，难以满足复杂对齐场景的需求。最后，数据来源的公开性虽利于复现，但亦带来了版权与隐私泄露的潜在风险。

常用场景

经典使用场景

在自然语言处理与人工智能对齐研究领域，Instruct-Aira Dataset v2 作为一份精心构建的单轮对话指令数据集，其经典使用场景在于为大型语言模型提供高质量的指令微调与行为对齐训练。该数据集涵盖英语与葡萄牙语双语对话，通过整合来自ChatGPT、LLaMA 2等成熟模型的交互样本，形成结构化的“用户-助手”对话对，可广泛应用于语言建模、问答系统开发及聊天机器人行为优化，尤其适用于探索模型在跨语言环境下的指令遵循能力与价值对齐效果。

解决学术问题

该数据集核心解决了人工智能对齐研究中指令数据集稀缺与语言覆盖不均的学术难题。传统对齐研究多集中于英语语料，而Instruct-Aira Dataset v2通过提供等量葡萄牙语与英语样本，填补了低资源语言在指令微调领域的空白。它支持研究者深入探索动态规范性理论——即模型如何在多元文化语境中动态适应人类价值体系，从而推动对齐研究从静态规则向动态适应范式演进，为构建更安全、更包容的通用人工智能奠定了实证基础。

衍生相关工作

该数据集衍生了多项经典工作，最突出的是其作为核心支撑材料催生了《Dynamic Normativity: Necessary and Sufficient Conditions for Value Alignment》这一博士论文。该论文基于Instruct-Aira Dataset v2展开对齐条件的形式化分析，提出了动态规范性的理论框架。此外，数据集还启发了后续关于多语言指令微调与模型偏见检测的研究，例如将葡萄牙语子集用于评估LLaMA系列模型在非英语语境中的表现，以及基于其对话结构开发新的对齐评估基准，推动了跨文化人工智能伦理研究的深入发展。