strombergnlp/bornholmsk_parallel

---
annotations_creators:
- expert-generated
language_creators:
- found
language:
- da
- da-bornholm
license:
- cc-by-4.0
multilinguality:
- translation
pretty_name: Bornholmsk/Danish Parallel Texts
size_categories:
- 1K<n<10K
source_datasets:
- original
task_categories:
- translation
task_ids: []
paperswithcode_id: bornholmsk-parallel
---

## Table of Contents
- [Dataset Description](#dataset-description)
- [Dataset Summary](#dataset-summary)
- [Supported Tasks](#supported-tasks-and-leaderboards)
- [Languages](#languages)
- [Dataset Structure](#dataset-structure)
- [Data Instances](#data-instances)
- [Data Fields](#data-instances)
- [Data Splits](#data-instances)
- [Dataset Creation](#dataset-creation)
- [Curation Rationale](#curation-rationale)
- [Source Data](#source-data)
- [Annotations](#annotations)
- [Personal and Sensitive Information](#personal-and-sensitive-information)
- [Considerations for Using the Data](#considerations-for-using-the-data)
- [Social Impact of Dataset](#social-impact-of-dataset)
- [Discussion of Biases](#discussion-of-biases)
- [Other Known Limitations](#other-known-limitations)
- [Additional Information](#additional-information)
- [Dataset Curators](#dataset-curators)
- [Licensing Information](#licensing-information)
- [Citation Information](#citation-information)

## Dataset Description

- **Homepage:** [https://github.com/StrombergNLP/bornholmsk](https://github.com/StrombergNLP/bornholmsk)
- **Repository:** [https://github.com/StrombergNLP/bornholmsk](https://github.com/StrombergNLP/bornholmsk)
- **Paper:** [https://aclanthology.org/W19-6138/](https://aclanthology.org/W19-6138/)
- **Point of Contact:** [Leon Derczynski](https://github.com/leondz)
- **Size of downloaded dataset files:** 490 KB
- **Size of the generated dataset:** 582 KB
- **Total amount of disk used:** 1072 KB

### Dataset Summary

This dataset is parallel text for Bornholmsk and Danish.

For more details, see the paper [Bornholmsk Natural Language Processing: Resources and Tools](https://aclanthology.org/W19-6138/).

### Supported Tasks and Leaderboards

*

### Languages

Bornholmsk, a language variant of Danish spoken on the island of Bornholm, and Danish. bcp47: `da-bornholm` and `da-DK`

## Dataset Structure

### Data Instances

### Data Fields

`id`: the sentence ID, `int`
`da-bornholm`: the Bornholmsk text, `string`
`da`: the Danish translation, `string`

### Data Splits

* Train: 5785 sentence pairs
* Validation: 500 sentence pairs
* Test: 500 sentence pairs

## Dataset Creation

### Curation Rationale

To gather as much parallel Bornholmsk together as possible

### Source Data

#### Initial Data Collection and Normalization

From a translation of Kuhre's Sansager, a selection of colloquial resources, and a prototype Bornholmsk/Danish dictionary

#### Who are the source language producers?

Native speakers of Bornholmsk who have produced works in their native language, or translated them to Danish. Much of the data is the result of a community of Bornholmsk speakers volunteering their time across the island in an effort to capture this endangered language.

### Annotations

#### Annotation process

No annotations

#### Who are the annotators?

Native speakers of Bornholmsk, mostly aged 60+.

### Personal and Sensitive Information

Unknown, but low risk of presence, given the source material

## Considerations for Using the Data

### Social Impact of Dataset

The hope behind this data is to enable people to learn and use Bornholmsk

### Discussion of Biases

[Needs More Information]

### Other Known Limitations

[Needs More Information]

## Additional Information

### Dataset Curators

This collection of Bornholmsk is curated by Leon Derczynski and Alex Speed Kjeldsen

### Licensing Information

Creative Commons Attribution 4.0

### Citation Information

```
@inproceedings{derczynski-kjeldsen-2019-bornholmsk,
title = "Bornholmsk Natural Language Processing: Resources and Tools",
author = "Derczynski, Leon and
Kjeldsen, Alex Speed",
booktitle = "Proceedings of the 22nd Nordic Conference on Computational Linguistics",
month = sep # "{--}" # oct,
year = "2019",
address = "Turku, Finland",
publisher = {Link{\"o}ping University Electronic Press},
url = "https://aclanthology.org/W19-6138",
pages = "338--344",
}
```

annotations_creators:
- 专家生成
language_creators:
- 现有文本采集
language:
- 丹麦语（da）
- 博恩霍尔姆丹麦语（da-bornholm）
license:
- cc-by-4.0
multilinguality:
- 翻译任务
pretty_name: 博恩霍尔姆丹麦语/丹麦语平行语料库
size_categories:
- 1K<n<10K
source_datasets:
- 原始数据集
task_categories:
- 翻译任务
task_ids: []
paperswithcode_id: bornholmsk-parallel

---

## 目录
- [数据集说明](#数据集说明)
- [数据集概述](#数据集概述)
- [支持任务与评测榜单](#支持任务与评测榜单)
- [语言分布](#语言分布)
- [数据集结构](#数据集结构)
- [数据实例](#数据实例)
- [数据字段](#数据字段)
- [数据划分](#数据划分)
- [数据集构建](#数据集构建)
- [构建初衷](#构建初衷)
- [源数据](#源数据)
- [标注信息](#标注信息)
- [个人与敏感信息](#个人与敏感信息)
- [数据集使用注意事项](#数据集使用注意事项)
- [数据集的社会价值](#数据集的社会价值)
- [偏差讨论](#偏差讨论)
- [已知局限性](#已知局限性)
- [附加信息](#附加信息)
- [数据集维护者](#数据集维护者)
- [许可协议](#许可协议)
- [引用信息](#引用信息)

## 数据集说明

- **项目主页:** [https://github.com/StrombergNLP/bornholmsk](https://github.com/StrombergNLP/bornholmsk)
- **代码仓库:** [https://github.com/StrombergNLP/bornholmsk](https://github.com/StrombergNLP/bornholmsk)
- **相关论文:** [https://aclanthology.org/W19-6138/](https://aclanthology.org/W19-6138/)
- **联系人:** [Leon Derczynski](https://github.com/leondz)
- **下载数据集文件大小:** 490 KB
- **生成后数据集大小:** 582 KB
- **总磁盘占用:** 1072 KB

### 数据集概述

本数据集为博恩霍尔姆丹麦语（Bornholmsk）与丹麦语的平行语料库。更多细节请参阅论文《博恩霍尔姆丹麦语自然语言处理：资源与工具》，链接：[https://aclanthology.org/W19-6138/](https://aclanthology.org/W19-6138/)。

### 支持任务与评测榜单

无

### 语言分布

博恩霍尔姆丹麦语是丹麦语的一种方言，通行于丹麦博恩霍尔姆岛，此外包含标准丹麦语。其BCP-47语言标签分别为`da-bornholm`与`da-DK`。

## 数据集结构

### 数据实例

### 数据字段

`id`: 句子编号，数据类型为整数
`da-bornholm`: 博恩霍尔姆丹麦语文本，数据类型为字符串
`da`: 丹麦语文本，数据类型为字符串

### 数据划分

* 训练集: 5785个句对
* 验证集: 500个句对
* 测试集: 500个句对

## 数据集构建

### 构建初衷

旨在收集尽可能多的博恩霍尔姆丹麦语平行语料资源。

### 源数据

#### 初始数据收集与标准化

数据源自库雷的《箴言集》（Kuhre's Sansager）的译本、一系列口语语料资源，以及一套博恩霍尔姆丹麦语/丹麦语原型词典。

#### 源语料生产者

源语料的创作者为博恩霍尔姆丹麦语母语使用者，他们要么创作了本族语作品，要么将作品译为丹麦语。该数据集的大量内容由博恩霍尔姆岛的母语使用者社区志愿者共同贡献，旨在保护这一濒危语言。

### 标注信息

#### 标注流程

无标注流程

#### 标注者

标注者为博恩霍尔姆丹麦语母语使用者，大多年龄在60岁以上。

### 个人与敏感信息

未知数据集是否包含个人或敏感信息，但鉴于源材料属性，存在此类信息的风险较低。

## 数据集使用注意事项

### 数据集的社会价值

本数据集的开发初衷是助力人们学习与使用博恩霍尔姆丹麦语。

### 偏差讨论

[需补充更多信息]

### 已知局限性

[需补充更多信息]

## 附加信息

### 数据集维护者

本博恩霍尔姆丹麦语语料库由Leon Derczynski与Alex Speed Kjeldsen维护。

### 许可协议

知识共享署名4.0（CC BY 4.0）

### 引用信息

@inproceedings{derczynski-kjeldsen-2019-bornholmsk,
title = "博恩霍尔姆丹麦语自然语言处理：资源与工具",
author = "Derczynski, Leon and
Kjeldsen, Alex Speed",
booktitle = "第22届北欧计算语言学会议论文集",
month = sep # "{--}" # oct,
year = "2019",
address = "芬兰图尔库",
publisher = {林雪平大学电子出版社},
url = "https://aclanthology.org/W19-6138",
pages = "338--344",
}

原始信息汇总

数据集描述

数据集概述

该数据集包含Bornholmsk和Danish的平行文本。

支持的任务和排行榜

语言

Bornholmsk，一种在Bornholm岛上使用的丹麦语变体，以及丹麦语。bcp47: da-bornholm 和 da-DK

数据集结构

数据实例

数据字段

id: 句子ID，int da-bornholm: Bornholmsk文本，string da: 丹麦语翻译，string

数据分割

• 训练集: 5785个句子对
• 验证集: 500个句子对
• 测试集: 500个句子对

数据集创建

策划理由

为了尽可能多地收集Bornholmsk的平行文本。

源数据

初始数据收集和规范化

来自Kuhre的Sansager的翻译、口语资源的选择以及Bornholmsk/Danish词典的原型。

源语言生产者

Bornholmsk的母语者，他们用母语创作作品，或将其翻译成丹麦语。大部分数据是Bornholmsk说话者在整个岛上自愿贡献时间的结果，以捕捉这种濒危语言。

注释

注释过程

无注释

注释者

Bornholmsk的母语者，主要是60岁以上的人。

个人和敏感信息

未知，但鉴于源材料，存在风险较低。

使用数据集的考虑因素

数据集的社会影响

该数据集的目的是使人们能够学习和使用Bornholmsk。

偏见的讨论

[需要更多信息]

其他已知限制

[需要更多信息]

附加信息

数据集策展人

这个Bornholmsk的收集由Leon Derczynski和Alex Speed Kjeldsen策展。

许可信息

Creative Commons Attribution 4.0

引用信息

@inproceedings{derczynski-kjeldsen-2019-bornholmsk, title = "Bornholmsk Natural Language Processing: Resources and Tools", author = "Derczynski, Leon and Kjeldsen, Alex Speed", booktitle = "Proceedings of the 22nd Nordic Conference on Computational Linguistics", month = sep # "{--}" # oct, year = "2019", address = "Turku, Finland", publisher = {Link{"o}ping University Electronic Press}, url = "https://aclanthology.org/W19-6138", pages = "338--344", }

搜集汇总

数据集介绍

构建方式

在濒危语言保护与自然语言处理交叉领域中，该数据集聚焦于博恩霍尔姆语与丹麦语的平行语料构建。数据来源涵盖库雷《桑萨格》的翻译文本、口语化资源样本以及博恩霍尔姆语-丹麦语原型词典，由60岁以上的母语者社区志愿贡献。原始语料经过规范化处理，形成包含训练集（5785句对）、验证集（500句对）和测试集（500句对）的结构化平行语料，每一条目包含唯一标识符、博恩霍尔姆语文本及其丹麦语翻译。

特点

该数据集具有鲜明的语言保护导向与专家级标注质量。作为博恩霍尔姆语（一种濒危丹麦语变体）与丹麦语的双语平行资源，其语料覆盖文学翻译与日常口语两大领域，由母语社区自发参与构建，确保了语言本真性。数据规模虽仅数千句对，却系统性地捕捉了该方言的词汇与句法特征，为低资源语言机器翻译研究提供了稀缺的基准数据，同时遵循CC-BY-4.0许可协议，便于学术共享。

使用方法

该数据集专为跨语言翻译任务设计，适用于序列到序列模型的训练与评估。用户可通过HuggingFace Datasets库直接加载，利用预定义的训练/验证/测试划分进行模型开发。数据字段简洁明确，包含整型标识符、博恩霍尔姆语文本及丹麦语翻译字符串，可直接用于监督学习。推荐搭配子词分词技术处理低资源语言，并结合迁移学习策略，以缓解数据稀疏性对翻译性能的影响。

背景与挑战

背景概述

在语言多样性与文化传承日益受到关注的当代，濒危语言的数字化保存成为计算语言学领域的重要议题。Bornholmsk，即博恩霍尔姆方言，是丹麦语在博恩霍尔姆岛上衍生的一种独特语言变体，随着使用者的老龄化与代际更替，其存续面临严峻威胁。为应对这一危机，Leon Derczynski与Alex Speed Kjeldsen于2019年创建了Bornholmsk/Danish平行语料库，旨在汇聚该方言与标准丹麦语之间的双语对齐文本。该数据集源自库雷的《Sansager》翻译、口语资源及原型词典，共计涵盖5785条训练句对、500条验证句对与500条测试句对。研究团队通过发动岛上母语社群（多为60岁以上长者）志愿参与，实现了对濒危语言资源的系统化抢救。这一语料库的发布，不仅为低资源机器翻译提供了稀缺训练数据，更推动了北欧区域语言保护与自然语言处理交叉领域的实证研究，在计算语言学界产生了深远影响。

当前挑战

该数据集所面临的挑战首先体现在领域问题的复杂性上：Bornholmsk作为濒危语言变体，缺乏大规模标注语料与标准化书写体系，导致机器翻译任务面临数据稀疏性与形态歧义的显著障碍。与主流语言不同，该方言的语法结构、词汇分布与丹麦语存在系统性差异，进一步加剧了跨语言映射的难度。在构建过程中，核心挑战在于数据获取的艰难性：母语者群体年龄偏高且分散于小岛社区，使得文本采集与翻译验证高度依赖志愿者的时间与语言直觉。此外，现有的资源仅涵盖少数来源（如文学翻译与口语片段），样本多样性不足，可能引入体裁偏差。数据规模虽经精心扩充，仍远低于神经翻译模型通常所需的数量级，限制了模型泛化能力。更棘手的是，缺乏自动拼写规范与语法标注，使得数据预处理与质量评估需依赖专家手动介入，显著提升了工程成本与迭代周期。

常用场景

经典使用场景

Bornholmsk Parallel数据集的核心价值在于为低资源语言——博恩霍尔姆语（一种濒危的丹麦语变体）——与丹麦语之间提供高质量的平行语料。该数据集由5785句训练对、500句验证对和500句测试对构成，源自社区志愿者翻译的文学作品、口语资源及词典原型。其经典使用场景是构建和评估神经机器翻译系统，尤其适用于语言资源极度匮乏的场景，为濒危语言的机器翻译研究提供了稀缺的基准数据。

实际应用

在实际应用中，该数据集助力开发面向博恩霍尔姆岛居民的实用翻译工具，促进该语言在数字时代的传承。它可用于构建在线翻译服务、语言学习应用或文化遗产数字化平台，帮助年轻一代和语言学习者跨越博恩霍尔姆语与丹麦语之间的沟通鸿沟。此外，数据集还为语言学家提供了量化分析濒危语言语法、词汇演变的地基，支持语言记录与复兴的实践工作。

衍生相关工作

基于该数据集，衍生出多项开创性工作。原始论文《Bornholmsk Natural Language Processing: Resources and Tools》首次系统介绍了博恩霍尔姆语的自然语言处理资源，为后续研究奠定了基准。后续工作包括利用该平行语料进行跨语言词向量对齐、低资源机器翻译中的回译数据增强、以及基于预训练语言模型（如mBART）的微调实验。这些工作共同推动了濒危语言NLP领域从零资源向小资源范式的转变。