BramVanroy/alpaca-cleaned-dutch

该数据集名为Alpaca Cleaned Dutch，包含51,712个荷兰语的对话，这些对话是[Alpaca Cleaned Dataset](https://huggingface.co/datasets/yahma/alpaca-cleaned)的翻译版本。数据集的主要用途是问答和文本生成任务。数据集的创建使用了OpenAI的API进行翻译，并且提供了详细的翻译提示模板。此外，README还提到了数据集的潜在偏见和翻译质量未经验证的问题，并提供了相关的引用和许可信息。

The dataset is named Alpaca Cleaned Dutch, which contains 51,712 Dutch dialogues and serves as a translated version of the [Alpaca Cleaned Dataset](https://huggingface.co/datasets/yahma/alpaca-cleaned). Its core applications are question answering and text generation tasks. The dataset was constructed using OpenAI's API for translation, with detailed translation prompt templates provided. In addition, the accompanying README documents the dataset's potential biases and notes that its translation quality has not been validated, while also providing relevant citation and licensing information.

原始信息汇总

数据集概述

• 名称: Alpaca Cleaned Dutch
• 语言: 荷兰语
• 许可: CC-BY-NC-4.0
• 大小: 10K<n<100K
• 任务类型: 问答、文本生成
• 标签: alpaca, instruct, instruction

数据集结构

数据实例

python { id: 7, instruction: Leg uit waarom de volgende breuk gelijk is aan 1/4, input: 4/16, output: De breuk 4/16 is gelijk aan 1/4 omdat zowel de teller als de noemer deelbaar zijn door 4. Door zowel de teller als de noemer door 4 te delen, krijgen we de breuk 1/4. }

数据字段

• id: 项目ID
• instruction: 给定的指令
• input: 可选输入，可为空
• output: 指令的“答案”

数据集创建

• 翻译工具: OpenAIs API for gpt-3.5-turbo
• 翻译参数: max_tokens=1024, temperature=0
• 翻译模板: 使用特定模板确保翻译符合要求，避免翻译关键字如instruction:, input:, output:

源数据

• 初始数据创建: Tatsu lab
• 数据清理: Yahma
• 原始数据生成工具: OpenAIs text-davinci-003

使用考虑

• 翻译质量: 未经验证，使用风险自负
• 许可限制: 不可用于构建与OpenAI服务竞争的商业系统
• 其他限制: 可能存在未知的翻译偏差，使用时需谨慎

贡献者

• 初始数据提供: Tatsu lab
• 数据清理: yahma

引用信息

bibtext @article{vanroy2023language, title={Language Resources for {Dutch} Large Language Modelling}, author={Vanroy, Bram}, journal={arXiv preprint arXiv:2312.12852}, year={2023} }

搜集汇总

数据集介绍

构建方式

在自然语言处理领域，指令微调数据集对于提升大语言模型的指令跟随能力至关重要。BramVanroy/alpaca-cleaned-dutch 数据集源自英文的 Alpaca Cleaned 数据集，通过 OpenAI 的 gpt-3.5-turbo 模型进行机器翻译，将 51,712 条指令、输入和输出对从英语转换为荷兰语。翻译过程中，采用精心设计的提示模板，要求模型保持原始格式，避免偏见，并处理语法纠错和代码片段等特殊情形。系统消息被设定为‘将英语翻译成荷兰语的有用助手’，翻译参数为 max_tokens=1024 和 temperature=0，以确保输出的稳定性和准确性。最终，仅有 1 条数据因格式缺失未能成功翻译，其余均被完整转换。

使用方法

使用该数据集时，用户可通过 Hugging Face Datasets 库加载，默认配置包含 train_sft 和 test_sft 两个分割。数据以 JSON 格式存储，每个实例包含 instruction、input 和 output 字段，其中 input 可为空。加载后，可直接将 instruction 和 input 拼接作为模型输入，output 作为目标输出，用于监督微调。由于数据源自机器翻译且未经人工校对，用户应谨慎评估翻译质量，并在应用前进行必要的清洗和验证。此外，需遵守 OpenAI 的使用条款，确保模型不用于与 OpenAI 直接竞争的商业用途。

背景与挑战

背景概述

在自然语言处理领域，指令微调数据集对于提升大语言模型的泛化能力和任务遵循能力至关重要。BramVanroy于2023年创建的alpaca-cleaned-dutch数据集，由研究者Bram Vanroy主导，旨在为荷兰语大语言模型提供高质量的指令微调资源。该数据集基于英文版Alpaca Cleaned Dataset，通过OpenAI的GPT-3.5-turbo模型翻译为荷兰语，包含约5.2万条人机对话样本。其核心研究问题在于弥补荷兰语指令数据的匮乏，推动低资源语言大语言模型的发展。该数据集在荷兰语自然语言处理社区具有显著影响力，为后续荷兰语模型训练提供了重要基准。

当前挑战

该数据集面临的主要挑战包括：1) 领域问题层面，荷兰语作为低资源语言，其指令微调数据稀疏且质量参差不齐，难以像英语那样覆盖多样化的任务场景，限制了模型对荷兰语指令的泛化能力；2) 构建过程中，采用机器翻译而非人工校验，导致翻译质量无法保证，存在语义偏差或语法错误的风险，尤其对涉及语法纠错或代码片段的指令，翻译准确性难以把控；3) 数据集继承自原始Alpaca的偏见问题，尽管翻译提示中强调避免偏见，但机器生成文本仍可能隐含性别、社会等偏见，用户需谨慎使用；4) 受OpenAI使用条款限制，该数据集不可用于商业竞争性模型开发，进一步限制了其应用范围。

常用场景

经典使用场景

在低资源语言的自然语言处理领域，BramVanroy/alpaca-cleaned-dutch数据集为荷兰语指令微调提供了宝贵的资源。该数据集包含超过5万条由英语Alpaca Cleaned语料翻译而来的荷兰语对话，覆盖问答与文本生成任务，每条样本由指令、可选输入及回复构成。研究者可将其用于训练荷兰语大语言模型，使其能够理解并遵循荷兰语指令，从而提升模型在低资源语言上的指令遵循能力与生成质量。该数据集的出现弥补了荷兰语指令数据的稀缺性，为多语言模型的本土化适配提供了关键支撑。

解决学术问题

该数据集主要解决了荷兰语指令微调数据匮乏的学术难题。此前，大语言模型的指令微调研究高度集中于英语等资源丰富的语言，荷兰语等低资源语言因缺乏高质量指令数据而难以训练出有效的对话模型。通过系统性地翻译并清洗Alpaca Cleaned数据集，该工作提供了规模达5万余条的荷兰语指令样本，使得研究者能够探索跨语言知识迁移、翻译质量对模型性能的影响，以及低资源语言指令微调的最佳实践。其意义在于推动了多语言NLP的公平性，为荷兰语等非英语语言的大模型研究奠定了数据基础。

实际应用

在实际应用中，该数据集可直接用于构建面向荷兰语用户的智能客服、教育辅导、信息检索等场景的对话系统。例如，荷兰语教学平台可利用微调后的模型为学生提供语法纠错、知识点解释等交互式学习体验；荷兰本土企业可将其部署为自动化助手，处理客户咨询、产品推荐等任务。此外，该数据集还支持荷兰语文本生成应用，如内容创作辅助、报告自动撰写等，显著降低了荷兰语NLP应用开发的数据门槛，加速了荷兰语AI服务的落地。

数据集最近研究

最新研究方向

该数据集聚焦于荷兰语指令微调数据的构建与多语言大语言模型的对齐研究。作为Alpaca清洗数据集的荷兰语翻译版本，它服务于非英语大语言模型的低资源适配需求，尤其关注生成式对话系统的本地化。当前前沿方向包括利用GPT-3.5进行跨语言指令数据的高效翻译与质量评估，探索机器翻译在保持任务格式与语义一致性上的局限性。与之相关联的热点事件是开源社区对多语言指令数据的迫切需求，以及商业API成本对数据规模扩展的约束。该数据集的意义在于为荷兰语自然语言处理提供了标准化指令微调基准，推动了低资源语言在对话AI领域的公平发展，但其翻译未经过人工验证也凸显了机器生成数据中潜在偏见与错误传播的风险。