BramVanroy/no_robots_dutch

这是HuggingFaceH4/no_robots数据集的荷兰语版本，主要包含用户与助手之间的单轮对话，这些对话是通过Azure的gpt-4-1106-preview生成的。数据集分为训练集和测试集，分别包含8181和433个样本。数据集的创建过程包括翻译、生成回答、语言识别、过滤等多个步骤，最终形成了符合荷兰语对话格式的数据集。

原始信息汇总

数据集卡片 No Robots Dutch

数据集描述

No Robots Dutch 是一个荷兰语数据集，基于 HuggingFaceH4/no_robots 创建，但使用了机器人辅助。该数据集主要包含用户和助手之间的单轮聊天对话，由 gpt-4-1106-preview 通过 Azure 生成。

数据集结构

数据集包含两个用于 SFT 的拆分，每个拆分的示例数量如下：

train_sft	test_sft
8181	433

这意味着大约 5.29% 的数据被保留用于测试。该数据集比原始数据集小，这是由 OpenAI 自动过滤造成的。

数据实例

数据集不包含系统消息。

python { prompt: Bij welke sport past deze beschrijving - tennis, pickleball of racquetball?

Dit kan op een baan gespeeld worden, zowel binnen als buiten. Er wordt een holle bal gebruikt. Spelers gebruiken rackets om de bal tegen een muur te slaan., prompt_id: 1b55bd7fc38d8bef02593897252c28ef80f6c298797f8c1c140b75991198098e, messages: [ {content: Bij welke sport past deze beschrijving - tennis, pickleball of racquetball?

Dit kan op een baan gespeeld worden, zowel binnen als buiten. Er wordt een holle bal gebruikt. Spelers gebruiken rackets om de bal tegen een muur te slaan., role: user}, {content: "Deze beschrijving past het best bij de sport racquetball. Bij racquetball slaan spelers een holle bal met rackets tegen een muur in een binnen- of buitenbaan. Tennis en Pickleball worden weliswaar ook op een baan gespeeld en gebruiken rackets (of in het geval van pickleball, paddles), maar bij tennis slaan spelers de bal over een net naar de tegenstanders helft van de baan, en bij pickleball is dit vergelijkbaar maar dan op een kleiner veld. Bij beide sporten is het niet de bedoeling dat de bal tegen een muur wordt geslagen zoals bij racquetball.", role: assistant} ] }

数据字段

• prompt: 初始用户提示
• prompt_id: 提示的唯一哈希值
• messages: 消息列表，每个消息包含角色（用户、助手，可选系统）和内容

数据集创建

该数据集是通过 这个仓库 的 translate-hf 脚本和 answer-hf 脚本创建的。首先将英文用户消息翻译成荷兰语，然后使用 gpt-4-1106-preview 生成响应。

数据过滤

除了自动内容过滤和解析问题外，还进行了额外的过滤。所有数据都保存在单独的分支中，以便查看历史过程。

• 1-gpt-4-turbo-translated: 错误地翻译了 prompt 列，认为它是第一个用户提示（但实际上可能是系统提示）
• 2-gpt-4-turbo-answered: 生成的回答响应翻译后的提示
• 3-lid: 添加了语言识别
• 4-filtered: 删除了检测到的非荷兰语文本样本
• 5-remake-with-system: 修复了系统提示的错误
• 6-remake-as-messages: 修复格式为典型的对话格式
• 7-remake-lid: 更新数据集的语言识别
• 8-remake-filtered: 更新数据集的过滤
• 8-deduplicated: 去重
• main: 主分支，移除了所有“不相关”的列

过滤移除了另外 8174 个样本。

源数据

初始数据收集和规范化

初始数据由 HuggingFaceH4 创建。

源语言生产者

初始数据是由人工标注者收集的，而荷兰语版本则使用了 GPT 4。

数据使用注意事项

该数据集未经全面验证或检查，但 OpenAI 过滤器阻止了生成和翻译请求，这可能表明原始提示中包含了一些模糊或潜在不当的内容。

偏见讨论

与任何机器生成的文本一样，用户应注意数据集中可能存在的偏见，使用时需谨慎。

许可信息

该数据集根据 Apache 2.0 许可证使用。

贡献

感谢 UWV 的 Michiel Buisman，通过 Azure 的 API 访问使该数据集的创建成为可能。

搜集汇总

数据集介绍

构建方式

该数据集是HuggingFaceH4/no_robots的荷兰语重构版本，旨在为荷兰语对话模型提供高质量的微调数据。构建过程分为两大步骤：首先，利用gpt-4-1106-preview通过Azure API将原始数据集中用户的首条消息（即prompt）从英语翻译为荷兰语；随后，将翻译后的荷兰语prompt再次输入同一模型以生成对应的助手回复。值得注意的是，原始数据集中可能包含系统提示词，而构建时仅翻译用户消息，系统提示词被保留原样。在生成过程中，OpenAI的自动内容过滤机制会拦截部分请求，导致最终数据集规模小于原始版本。此外，构建流程还包含一系列精细的后处理步骤：通过fastText进行语言识别以过滤非荷兰语样本、移除包含非拉丁字符或特定关键词（如“AI-assistent”、“ChatGPT”等）的样本、剔除含有道歉表达或知识截止日期提及的回复，并最终进行去重处理。所有中间步骤的数据均保存在独立分支中，便于追溯与审查。

特点

该数据集的核心特点在于其专为荷兰语单轮对话场景设计，包含8614个样本，其中训练集8181例、测试集433例，测试集占比约5.29%。数据结构简洁清晰，每条样本包含三个字段：原始用户提示（prompt）、唯一哈希标识符（prompt_id）以及消息列表（messages），后者由用户与助手的对话轮次组成，不含系统消息。数据集的构建充分考虑了质量管控，通过多层过滤机制剔除低质量或非荷兰语内容，例如移除包含非拉丁字符的翻译任务样本、过滤掉回避性回复（如“作为AI模型，我无法...”）以及去除提及特定AI产品名称的样本，从而确保语料的实用性与真实性。尽管数据由机器生成，但原始人类标注的多样性得以保留，同时OpenAI的自动过滤也在一定程度上规避了不当内容。然而，由于缺乏大规模人工验证，数据中仍可能存在潜在偏见，使用者需谨慎评估。

使用方法

该数据集主要面向荷兰语大语言模型的监督式微调（SFT）任务，可直接通过HuggingFace Datasets库加载使用。用户可通过指定配置名称'default'来获取数据，该配置包含'train_sft'和'test_sft'两个预定义划分，分别对应训练集与测试集。在加载时，数据将以字典形式呈现，其中'prompt'字段提供用户初始输入，'messages'字段则包含格式化为角色（role）和内容（content）的对话列表，便于直接应用于基于聊天模板的模型训练。由于数据集不含系统消息，使用时无需额外处理系统提示。对于需要评估模型性能的场景，建议将测试集用于验证，以衡量模型在荷兰语对话生成任务上的表现。此外，研究者可参考原始论文（Vanroy, 2024）中关于GEITje 7B Ultra模型的训练细节，以复现或改进相关实验。数据集的Apache 2.0许可协议允许广泛使用与分发，但用户应留意机器生成内容可能固有的偏差问题。

背景与挑战

背景概述

在自然语言处理领域，多语言对话数据集的稀缺性长期制约着非英语语言模型的性能提升。为填补荷兰语指令微调数据的空白，Bram Vanroy于2024年基于HuggingFaceH4团队的原始英文数据集no_robots，通过GPT-4-1106-preview模型翻译与生成，构建了面向荷兰语的单轮对话数据集BramVanroy/no_robots_dutch。该工作由UWV机构提供Azure API支持，旨在为荷兰语大语言模型（如GEITje 7B Ultra）提供高质量的监督微调数据。数据集包含8181条训练样本与433条测试样本，聚焦于用户与助手的实用对话场景。其创建过程不仅解决了荷兰语指令数据匮乏的问题，还通过严格的过滤机制提升了数据纯净度，为低资源语言的对话系统研究提供了重要基准。

当前挑战

该数据集面临的核心挑战在于多层面。首先，领域层面，荷兰语对话生成任务受限于原始数据源的英语语境，翻译过程中可能丢失文化特异性或语义准确性，导致模型对荷兰语特有表达的理解偏差。其次，构建过程中，自动过滤机制（如移除包含非拉丁字符、AI免责声明或ChatGPT引用的样本）虽提升了数据质量，但可能过度剔除与翻译或多语言任务相关的有效样本，造成数据偏见。此外，单轮对话结构限制了模型处理长程交互的能力，而人工验证仅覆盖约50个样本，无法全面排除潜在的不当内容或生成错误。最后，数据规模较小（约8600条）且依赖单一模型生成，可能引入GPT-4的固有偏差，影响泛化性。

常用场景

经典使用场景

在自然语言处理领域，BramVanroy/no_robots_dutch 数据集被广泛用于荷兰语指令微调与对话生成任务。该数据集基于 HuggingFaceH4/no_robots 英文数据集进行荷兰语翻译与重构，包含约 8600 条单轮人机对话样本，每条数据由用户提示和 GPT-4 生成的助手指令响应构成。研究者常将其作为荷兰语大语言模型监督微调（SFT）的标准训练语料，尤其适用于评估模型在荷兰语场景下的指令遵循能力与对话流畅性。其简洁的“用户-助手”消息结构使得该数据集成为荷兰语对话系统基准测试的重要组成部分。

衍生相关工作

该数据集直接催生了多个荷兰语大语言模型的研究工作，最具代表性的是 GEITje 7B Ultra（SFT）及其量化变体。该模型以 No Robots Dutch 为核心微调数据，在荷兰语对话任务上取得了领先性能。后续衍生工作还包括基于该数据集的荷兰语指令偏好对齐研究，以及将其与多语言数据集混合以增强模型跨语言泛化能力的探索。此外，数据集的构建流程（翻译-生成-过滤-去重）被复用至其他低资源语言（如弗拉芒语）的对话数据集创建中，形成了可推广的跨语言指令数据生产范式。

数据集最近研究

最新研究方向

在低资源语言的自然语言处理领域，特别是荷兰语对话系统的构建中，BramVanroy/no_robots_dutch数据集的出现填补了高质量、单轮对话指令数据的空白。该数据集基于GPT-4-turbo对英文原版no_robots进行翻译与自动生成，经过严格的过滤与去重流程，最终保留了约8600条样本。其前沿研究方向聚焦于如何利用大语言模型实现跨语言迁移，既规避了人工标注的高昂成本，又通过多阶段筛选（如语言识别、非拉丁字符剔除、AI模板化回复过滤）确保了数据质量。这一工作与当前多语言对话AI的热点事件紧密相连——随着ChatGPT等模型在全球范围内的普及，构建非英语但自然流畅的对话数据集成为提升模型文化适配性的关键。该数据集不仅支撑了GEITje 7B Ultra等荷兰语对话模型的发展，也为其他低资源语言的数据构建提供了可复现的范式，其意义在于推动语言多样性与AI普惠性在对话系统领域的深度融合。