oliverkinch/danmarks-statistik-bt

Danmarks Statistik BT是一个通过回译从Danmarks Statistik出版物构建的合成丹麦指令调优数据集。每一行数据包含一个简短的丹麦聊天机器人输入（prompt）和一个来自DST出版物的散文段落作为基础答案（target）。数据集构建过程包括从源数据集中提取段落，使用不同角色生成多样化的聊天机器人输入，并对提示进行过滤以确保质量。该数据集旨在用于微调和评估丹麦语言模型在基于官方丹麦统计数据的指令遵循和检索增强生成任务上的表现。

Danmarks Statistik BT is a synthetic Danish instruction-tuning dataset built from Danmarks Statistik publications using backtranslation. Each row pairs a short, natural Danish chatbot input (`prompt`) with a prose passage from a DST publication as the grounding answer (`target`). The dataset construction involves extracting passages from the source dataset, generating varied chatbot inputs using personas, and filtering prompts for quality. The dataset is intended for fine-tuning and evaluating Danish language models on instruction-following and retrieval-augmented generation tasks grounded in official Danish statistics.

搜集汇总

数据集介绍

构建方式

该数据集基于Danmarks Statistik官方出版物精心构建而成，其原始数据源自公开的统计资料集，涵盖了背景材料、统计新闻快报、出版物摘要及深度统计分析四种内容类型。构建过程中，首先从上述来源中提取段落，随后利用大语言模型为每个段落生成简短且符合特定人设的丹麦语聊天输入，这些人设来自NVIDIA的多样化人格数据集，涵盖研究者、学生、记者与退休人士等不同群体。生成后的提示词经过严格过滤，确保以终端标点结尾、不提及原文、且语言为丹麦语，最终与原始统计段落配对形成高质量的指令微调数据。

使用方法

该数据集专为丹麦语语言模型的指令微调与评估而设计，尤其适用于检索增强生成任务，其支撑材料为官方的丹麦统计数据。使用者可通过HuggingFace Datasets库直接加载，指定分割为训练集后即可获取格式一致的数据样本。每个样本中的prompt字段可作为模型输入，target字段作为期望输出，从而实现指令遵循能力的训练。此外，借助sources与meta字段中的丰富元数据，研究者可进一步分析模型在不同内容类型与统计主题上的表现，灵活支持多角度的实验与评估。

背景与挑战

背景概述

Danmarks Statistik BT数据集由Oliver Kinch等人于2023年创建，基于丹麦国家统计局（Danmarks Statistik）的官方出版物构建，旨在为丹麦语大语言模型提供指令微调与检索增强生成任务的训练资源。该数据集通过反向翻译技术，将官方统计报告中的散文段落转化为自然、简短的丹麦语聊天输入，覆盖背景材料、统计新闻、出版摘要和深度分析四类内容。其核心研究问题在于弥合官方统计数据与自然语言交互之间的鸿沟，使模型能够以对话形式回答基于统计知识的问题。作为高质量的丹麦语指令数据集，它填补了北欧语言在统计领域指令数据的稀缺性，对推动丹麦语NLP研究及相关应用具有重要影响。

当前挑战

该数据集主要应对两方面的挑战。在领域问题层面，官方统计信息通常以结构化报告形式呈现，缺乏自然语言问答接口，用户难以通过对话便捷获取统计知识；同时丹麦语作为低资源语言，缺乏基于本国官方数据的指令微调数据。在构建过程中，需确保生成的聊天输入不引用具体数字或源文档且保持丹麦语自然性，为此采用多样化角色采样和严格过滤规则。此外，从7000余条记录中剔除生成失败案例，并平衡不同内容类型的分布，以保证数据集质量与代表性。

常用场景

经典使用场景

Danmarks Statistik BT数据集的核心应用场景在于为丹麦语大语言模型提供指令微调与检索增强生成的训练素材。该数据集通过回译技术，将丹麦统计局发布的官方统计报告转化为自然流畅的人机对话对，每条数据包含一条用户模拟提问与一段源自统计局的翔实回复。研究者可借此训练模型掌握在统计领域内进行准确应答、引用数据来源以及遵循指令输出结构化信息的能力，尤其适用于需要融合事实性知识与生成式对话的复合型任务。

解决学术问题

该数据集有效填补了丹麦语自然语言处理研究中高质量指令微调数据匮乏的空白，尤其针对统计问答这一专业细分领域。它解决了两个关键学术难题：其一，如何从非对话格式的官方统计文本中自动构造语义忠实且语言自然的问答对，回译策略为此提供了可复现的方法论；其二，如何引入多样化用户身份（如研究者、记者）以模拟真实咨询场景，从而提升模型对指令风格与信息粒度的自适应能力。这些工作为低资源语言的专业领域对话系统研究树立了重要基准。

实际应用

在实际应用中，该数据集可赋能丹麦语统计信息服务的智能化升级。典型场景包括：构建面向公众的统计问答机器人，使公民能够通过自然语言查询如出口额变动、人口趋势等官方数据；辅助新闻工作者快速获取统计报告摘要，提升数据新闻报道的时效性与准确性；以及为政府及学术机构内部的统计数据分析助手提供训练基础，支持研究人员以对话方式探索多维度统计指标。其合成数据特性也保障了在隐私敏感场景下的安全部署。

数据集最近研究

最新研究方向

基于回译技术的丹麦语指令微调合成数据集构建，聚焦于低资源语言中检索增强生成与统计问答能力的提升，反映了在官方统计数据领域通过人格化指令生成与多源语料过滤来增强模型对丹麦语细微语境理解的前沿探索。