carlosdanielhernandezmena/ravnursson_asr

RAVNURSSON FAROESE SPEECH AND TRANSCRIPTS（简称RAVNURSSON语料库）是一个用于法罗语自动语音识别（ASR）的语音和转录文本的集合。该语料库由雷克雅未克大学在2022年整理，源自法罗群岛的Ravnur项目开发的Basic Language Resource Kit 1.0（BLARK 1.0）。数据集包含433名15至83岁的说话者的语音记录，分为三个年龄组：15-35岁、36-60岁和61岁以上。语音文件由249名女性和184名男性说话者录制，总时长为109小时9分钟。数据集分为训练、验证和测试三个部分，分别用于不同的模型训练和评估任务。

annotations_creators:
- 专家生成（expert-generated）
language:
- 法罗语（Faroese）
language_creators:
- 专家生成（expert-generated）
license:
- CC-BY-4.0
multilinguality:
- 单语言（monolingual）
pretty_name: RAVNURSSON 法罗语语音与转录数据集
size_categories:
- 10K<n<100K
source_datasets:
- 原始数据集（original）
tags:
- 法罗群岛（Faroe Islands）
- 法罗语（Faroese）
- Ravnur项目（Ravnur Project）
- 法罗语自动语音识别（speech recognition in faroese）
task_categories:
- 自动语音识别（automatic-speech-recognition）
task_ids: []

# ravnursson_asr 数据集卡片
## 目录
- [数据集描述](#dataset-description)
- [数据集概述](#dataset-summary)
- [支持的任务与排行榜](#supported-tasks-and-leaderboards)
- [语言](#languages)
- [数据集结构](#dataset-structure)
- [数据实例](#data-instances)
- [数据字段](#data-fields)
- [数据划分](#data-splits)
- [数据集构建](#dataset-creation)
- [构建依据](#curation-rationale)
- [源数据](#source-data)
- [注释](#annotations)
- [个人与敏感信息](#personal-and-sensitive-information)
- [数据集使用注意事项](#considerations-for-using-the-data)
- [数据集的社会影响](#social-impact-of-dataset)
- [偏差讨论](#discussion-of-biases)
- [其他已知局限性](#other-known-limitations)
- [附加信息](#additional-information)
- [数据集管护者](#dataset-curators)
- [许可证信息](#licensing-information)
- [引用信息](#citation-information)
- [致谢](#contributions)

## 数据集描述
- **主页：** [RAVNURSSON 法罗语语音与转录数据集](http://hdl.handle.net/20.500.12537/276)
- **代码仓库：** [Clarin.is](http://hdl.handle.net/20.500.12537/276)
- **相关论文：** [法罗语自动语音识别语言资源](https://aclanthology.org/2023.nodalida-1.4.pdf)
- **相关论文：** [为法罗语构建基础语言资源工具包](https://aclanthology.org/2022.lrec-1.495.pdf)
- **联系方式：** [Annika Simonsen](mailto:[e-mail])、[Carlos Mena](mailto:[e-mail])

### 数据集概述
本语料库“RAVNURSSON 法罗语语音与转录数据集”（简称RAVNURSSON语料库）是一批带转录文本的语音录音合集，专为法罗群岛使用的法罗语（Faroese）自动语音识别（Automatic Speech Recognition, ASR）应用打造，于2022年由雷克雅未克大学（Reykjavík University, RU）完成遴选构建。

RAVNURSSON语料库源自法罗群岛Ravnur项目开发的“基础语言资源工具包1.0”（Basic Language Resource Kit 1.0，简称BLARK 1.0）[1]。事实上，“RAVNURSSON”这一名称取自Ravnur（致敬Ravnur项目）以及冰岛语中意为“……之子”的后缀“son”，因此“RAVNURSSON”可理解为“Ravnur之子（冰岛语语境下）”，双写“s”仅为美观考量。

语音数据通过录制朗读文本的说话人采集得到，参与者年龄覆盖15至83岁，分为三个年龄段：15-35岁、36-60岁以及61岁以上。

本语料库共包含433名说话人的语音文件，其中女性说话人249名，男性184名。录音采用TASCAM DR-40线性脉冲编码调制（Linear PCM）录音机，内置立体声麦克风录制，初始格式为16位WAV文件，采样率48kHz；后续为适配本语料库，统一重采样为16kHz、16位单声道格式。

[1] Simonsen, A., Debess, I. N., Lamhauge, S. S., & Henrichsen, P. J. Creating a basic language resource kit for Faroese. In LREC 2022. 13th International Conference on Language Resources and Evaluation.

[2] 官网. Talutøkni基金会下属Ravnur项目 https://maltokni.fo/en/the-ravnur-project

### 示例用法
RAVNURSSON语料库分为训练集（train）、验证集（validation）与测试集（test）三个划分。若需加载特定划分，可将划分名称作为配置名称传入：
python
from datasets import load_dataset
ravnursson = load_dataset("carlosdanielhernandezmena/ravnursson_asr")

若需加载特定子集（例如验证集），可执行如下代码：
python
from datasets import load_dataset
ravnursson = load_dataset("carlosdanielhernandezmena/ravnursson_asr",split="validation")

### 支持的任务
自动语音识别：本数据集可用于训练自动语音识别（ASR）模型。模型输入为音频文件，目标是将音频转录为书面文本，最常用的评估指标为词错误率（Word Error Rate, WER）。

### 语言
语音数据均采用法罗语录制。RAVNURSSON语料库的朗读提示文本由专业语言学家生成，整个语料库在语音学与方言覆盖度上经过均衡处理；测试集与验证集均实现性别均衡。本数据集包含可计算机检索的表格数据与书面文档。

## 数据集结构
### 数据实例
python
{
'audio_id': 'KAM06_151121_0101',
'audio': {
'path': '/home/carlos/.cache/HuggingFace/datasets/downloads/extracted/32b4a757027b72b8d2e25cd9c8be9c7c919cc8d4eb1a9a899e02c11fd6074536/dev/RDATA2/KAM06_151121/KAM06_151121_0101.flac',
'array': array([ 0.0010376 , -0.00521851, -0.00393677, ..., 0.00128174,
0.00076294, 0.00045776], dtype=float32),
'sampling_rate': 16000
},
'speaker_id': 'KAM06_151121',
'gender': 'female',
'age': '36-60',
'duration': 4.863999843597412,
'normalized_text': 'endurskin eru týdningarmikil í myrkri',
'dialect': 'sandoy'
}

> 字段说明：
> - `audio_id`：音频片段唯一标识符
> - `audio`：包含音频文件路径、解码后的音频数组与采样率的字典。非流式模式（默认）下，路径指向本地已提取的音频文件；流式模式下，路径为音频在归档文件内的相对路径（因文件未在本地下载提取）
> - `speaker_id`：说话人唯一标识符
> - `gender`：说话人性别，可选值为`male`（男性）或`female`（女性）
> - `age`：说话人年龄区间：青年（15-35岁）、中年（36-60岁）或老年（61岁及以上）
> - `duration`：音频文件时长，单位为秒
> - `normalized_text`：经标准化处理的音频转录文本
> - `dialect`：说话人所属方言区，例如`Suðuroy`（苏杜罗伊）或`Sandoy`（桑多伊）

### 数据字段
* `audio_id` (string)：音频片段唯一标识符
* `audio` (datasets.Audio)：包含音频文件路径、解码后的音频数组与采样率的字典。非流式模式（默认）下，路径指向本地已提取的音频文件；流式模式下，路径为音频在归档文件内的相对路径（因文件未在本地下载提取）
* `speaker_id` (string)：说话人唯一标识符
* `gender` (string)：说话人性别，可选值为`male`（男性）或`female`（女性）
* `age` (string)：说话人年龄区间：青年（15-35岁）、中年（36-60岁）或老年（61岁及以上）
* `duration` (float32)：音频文件时长，单位为秒
* `normalized_text` (string)：经标准化处理的音频转录文本
* `dialect` (string)：说话人所属方言区，例如`Suðuroy`（苏杜罗伊）或`Sandoy`（桑多伊）

### 数据划分
语音数据被划分为训练集、验证集与测试集三个子集。各子集总时长分别为：训练集100小时08分，测试集4小时30分，验证集4小时30分。

如需加载特定子集，请参考上文“示例用法”章节。

验证集与测试集各自均包含10名男性与10名女性说话人，且二者总时长完全一致（均为4.5小时）。

## 数据集构建
### 构建依据
语料库的所有语音文件均存储于名为“speech”的目录下，该目录又分为`train`、`dev`与`test`三个子目录。训练集进一步分为`RDATA1O`、`RDATA1OP`与`RDATA2`三类录音文件，这一划分源自原始BLARK 1.0的录音组织方式，原始数据中录音被分为`Rdata1`与`Rdata2`两类。

`Rdata1`与`Rdata2`的核心区别之一在于：`Rdata2`的朗读环境由原始BLARK 1.0内置的`PushPrompt`软件管控。另一核心区别为：`Rdata1`中部分转录文本带有音素级标注。因此，RAVNURSSON语料库`speech`目录下的音频文件被分为`RDATA1O`（“O”代表“正字法（Orthographic）”）与`RDATA1OP`（“O”代表正字法、“P”代表音素级（phonetic））两类文件夹。

验证集与测试集的数据仅来自无音素级标注的`Rdata2`。需特别说明的是，RAVNURSSON语料库仅包含正字法级别的转录文本。

### 源数据
#### 初始数据采集与标准化
本数据集发布的标准化文本仅为正字法级别的小写文本。标准化流程通过自动移除标点符号与法罗语字母表以外的字符完成。

#### 源语言数据提供者是谁？
* 语音录制采用TASCAM DR-40设备完成。
* 参与者自行申报所属年龄组、性别、母语与方言。
* 参与者年龄区间为15至83岁。
* 本语料库共包含来自433名说话人的71949条语音文件，总时长为109小时09分钟。

### 注释
#### 注释流程
大部分朗读提示文本由专家从法罗语文本语料库（新闻、博客、维基百科等）中遴选并编辑以适配格式；针对特定领域（如法罗语地名、数字、车牌、报时等）的朗读提示文本由Ravnur项目组编写。随后，名为`PushPrompt`的软件工具被用于朗读录制环节：该软件会将朗读材料中的文本条目展示给朗读人，支持交互管控录制流程（如调整朗读语速、按需重复录制、插入短暂休息等）。录制完成后，会生成符合TextGrid格式的数据表格形式的日志文件，包含每条语音的时间戳信息。

#### 注释者是谁？
本语料库由[Ravnur项目](https://maltokni.fo/en/the-ravnur-project)完成注释。

### 个人与敏感信息
本数据集包含自愿捐赠语音数据的个人信息。使用本数据集时，您同意不会尝试识别数据中说话人的身份。

## 数据集使用注意事项
### 数据集的社会影响
这是首个法罗语自动语音识别语料库。

### 偏差讨论
由于朗读提示文本的数量有限，RAVNURSSON语料库的一个共性特征为：同一条提示文本会被多名朗读人录制。这一特征需要特别注意，因为自动语音识别任务中通常会使用训练集中的提示文本构建语言模型，但RAVNURSSON语料库的多个子集共享大量提示文本，若按常规流程操作会在语言建模任务中引入显著偏差。

本章节将展示语料库各子集内重复提示文本的相关统计数据：
- 训练集：
* 总提示文本数 = 65616
* 唯一提示文本数 = 38646
训练集中共有26970条重复提示文本，占比41.1%。
- 测试集：
* 总提示文本数 = 3002
* 唯一提示文本数 = 2887
测试集中共有115条重复提示文本，占比3.83%。
- 验证集：
* 总提示文本数 = 3331
* 唯一提示文本数 = 3302
验证集中共有29条重复提示文本，占比0.87%。
- 全语料库维度：
* 总提示文本数 = 71949
* 唯一提示文本数 = 39945
全语料库中共计32004条重复提示文本，占比44.48%。

> 注意：还需特别说明的是，语料库的三个子集之间无重叠的说话人。

### 其他已知局限性
由Carlos Daniel Hernández Mena与Annika Simonsen发布的“RAVNURSSON 法罗语语音与转录数据集”采用知识共享署名4.0国际许可协议（Creative Commons Attribution 4.0 International, CC BY 4.0）进行授权。本数据集按“现状”提供，不附带任何明示或暗示的担保，包括但不限于适销性、特定用途适用性的担保。

## 附加信息
### 数据集管护者
本数据集由Annika Simonsen采集，由Carlos Daniel Hernández Mena完成管护。
### 许可证信息
[CC-BY-4.0](https://creativecommons.org/licenses/by/4.0/)
### 引用信息
bibtex
@misc{carlosmenaravnursson2022,
title={Ravnursson Faroese Speech and Transcripts},
author={Hernandez Mena, Carlos Daniel and Simonsen, Annika},
year={2022},
url={http://hdl.handle.net/20.500.12537/276},
}

### 致谢
本项目依托2019-2023年冰岛语言技术计划完成，该计划由Almannarómur负责管理与协调，资助方为冰岛教育、科学与文化部。特别感谢雷克雅未克大学教授、语言与语音实验室（Language and Voice Lab, LVL）负责人Jón Guðnason博士提供计算资源支持。

原始信息汇总

数据集概述

数据集名称

• 名称: RAVNURSSON FAROESE SPEECH AND TRANSCRIPTS
• 简称: RAVNURSSON Corpus

数据集描述

• 目的: 用于自动语音识别（ASR）应用，特别是在Faroese语言中。
• 内容: 包含语音录音及其转录，由249名女性和184名男性共433名发言者参与，年龄范围为15至83岁。
• 技术细节: 录音使用TASCAM DR-40线性PCM音频记录器，原始采样率为48kHz，后降采样至16kHz。

数据集结构

• 数据实例: 每个实例包含音频ID、音频文件路径、发言人ID、性别、年龄、音频时长、标准化文本和方言。
• 数据字段: 包括音频ID、音频文件、发言人ID、性别、年龄、音频时长、标准化文本和方言。
• 数据分割: 分为训练集、验证集和测试集，其中训练集时长为100小时8分钟，验证集和测试集各为4小时30分钟。

数据集创建

• 来源: 数据集是从Ravnur项目的基础语言资源套件1.0（BLARK 1.0）中提取的。
• 注释过程: 阅读提示由专家从Faroese文本语料库中选择，并使用PushPrompt软件进行录音。
• 注释者: 由Ravnur项目进行注释。

使用注意事项

• 重复提示: 数据集中存在大量重复提示，约44.48%的提示在不同部分重复。
• 许可证: 数据集根据CC-BY-4.0许可证发布。

附加信息

• 数据集管理: 由Annika Simonsen收集，Carlos Daniel Hernández Mena整理。
• 贡献: 该项目由冰岛语言技术计划2019-2023支持，由冰岛教育和文化部资助。

搜集汇总

数据集介绍

构建方式

在法罗语这一低资源语言的语音技术发展中，RAVNURSSON语料库的构建具有里程碑意义。该数据集源自法罗群岛Ravnur项目开发的“基础语言资源工具包1.0”（BLARK 1.0），由雷克雅未克大学于2022年精心整理。音频数据通过让433名年龄在15至83岁之间的母语者朗读文本提示进行采集，覆盖249名女性和184名男性。录音采用TASCAM DR-40设备以48kHz采样率录制，随后降采样为16kHz单声道格式。语料库中的提示文本由语言学专家精选自新闻、博客等法罗语文本语料，并利用PushPrompt软件进行交互式录音管理，确保音素和方言的平衡覆盖。数据划分为训练集（65616条，约100小时）、验证集（3331条）和测试集（3002条），其中验证和测试集均严格包含10名男性和10名女性说话人，时长各为4.5小时。

特点

该数据集的显著特点在于其作为首个法罗语自动语音识别（ASR）语料库的独特价值。所有音频均提供16kHz采样率的标准化波形文件，并附带经过归一化处理的转写文本（仅保留法罗语字母的小写形式）。每个样本包含丰富的元数据，如说话人ID、性别、年龄组（15-35、36-60、61+）和方言类别（如Suðuroy、Sandoy），为方言和人口统计学分析提供了支持。值得注意的是，训练集中约41.1%的提示文本被多个说话人重复朗读，这虽有助于提升声学模型的鲁棒性，但也提示在语言模型构建中需谨慎处理重复提示带来的偏差。此外，语料库的三个划分之间不共享任何说话人，确保了评估的独立性和公正性。

使用方法

研究者可通过Hugging Face的datasets库便捷地加载该数据集。使用`load_dataset("carlosdanielhernandezmena/ravnursson_asr")`即可获取完整的训练、验证和测试划分，或通过指定`split="validation"`等参数加载特定子集。每个数据实例以字典形式提供，包含音频路径、波形数组（float32格式）、采样率、说话人信息及归一化文本。由于数据集中大量提示文本跨划分重复出现，推荐在ASR模型训练中避免直接使用训练集提示构建语言模型，而应采用外部法罗语文本语料或基于子词单元的无监督方法。该数据集采用CC-BY-4.0许可协议，适用于学术研究和商业应用，但需注意不得尝试识别说话人身份。

背景与挑战

背景概述

法罗语作为仅有约五万使用者的语言，长期面临语言技术资源匮乏的困境。在此背景下，雷克雅未克大学的研究人员Annika Simonsen与Carlos Daniel Hernández Mena于2022年创建了RAVNURSSON法罗语语音与转录数据集，旨在为这一濒危语言构建首个自动语音识别（ASR）基准语料库。该数据集源自法罗群岛Ravnur项目开发的BLARK 1.0基础语言资源工具包，通过精心设计录音流程，收集了433位年龄横跨15至83岁的母语者的语音数据，总计超过109小时的音频。其核心研究问题在于填补极低资源语言在ASR领域的空白，为法罗语的数字化保护与智能应用奠定基石。数据集发布后，迅速成为法罗语语音技术研究的标杆资源，对推动该语言的自然语言处理发展具有里程碑式意义。

当前挑战

该数据集面临的首要挑战在于解决极低资源语言的ASR建模难题。法罗语缺乏大规模语料，导致声学与语言模型训练极易过拟合，且方言多样性（如Suðuroy与Sandoy等方言变体）进一步加剧了识别难度。构建过程中，研究者需应对语料重复性带来的偏差风险——训练集中41.1%的提示文本被多个说话人重复朗读，若直接用于语言模型构建将产生严重偏差。此外，数据采集受限于有限提示文本库，需平衡音素覆盖与方言代表性，同时确保开发集与测试集的性别平衡（各含10男10女）及时长一致性（各4.5小时）。音频录制环境差异（如Rdata1与Rdata2分别采用不同录音软件）也增加了数据标准化的复杂性，最终仅保留正交级转录以维持一致性。

常用场景

经典使用场景

RAVNURSSON法罗语语音与转录数据集是法罗语自动语音识别（ASR）研究领域的基石资源。该数据集由雷克雅未克大学于2022年精心构建，源自法罗群岛Ravnur项目的“基础语言资源工具包1.0”（BLARK 1.0），包含71949段语音文件，总时长约109小时，覆盖433位年龄在15至83岁之间的发音人。数据集按语音学与方言覆盖精心平衡，划分为训练集（100小时）、验证集（4.5小时）和测试集（4.5小时），其中验证集与测试集严格实现性别平衡。其最经典的使用场景是作为端到端或混合ASR系统的训练与评估基准，通过音频输入生成正交转录文本，以词错误率（WER）作为核心性能指标，为低资源语言语音识别技术提供了标准化实验平台。

衍生相关工作

RAVNURSSON数据集催生了多项具有影响力的学术工作。其原始论文《ASR Language Resources for Faroese》发表于2023年北欧计算语言学会议（NoDaLiDa），系统阐述了该数据集的构建方法与基准实验结果。此外，作为BLARK 1.0的子集，该数据集与《Creating a Basic Language Resource Kit for Faroese》（LREC 2022）形成方法论呼应，共同构成了法罗语语言资源开发的完整框架。后续研究在此基础上探索了跨语言预训练模型（如Wav2Vec 2.0）在法罗语上的微调策略，以及基于该数据集的说话人识别与方言分类任务，进一步拓展了其在多模态语言技术中的应用边界。

数据集最近研究

最新研究方向

当前，低资源语言的自动语音识别（ASR）技术成为计算语言学领域的前沿热点，RAVNURSSON法罗语语音与转录数据集正是这一方向的重要突破。作为首个针对法罗语的ASR语料库，它填补了该语言在语音技术领域的空白，为濒危语言保护与数字化提供了关键资源。该数据集由雷克雅未克大学与拉夫努尔项目合作构建，包含433名讲者的约109小时语音数据，覆盖不同年龄、性别和方言群体，并在训练、验证和测试集中实现了性别与方言的平衡设计。其最新研究聚焦于利用该数据集训练端到端ASR模型，探索在数据稀缺条件下如何优化词错误率（WER），同时应对提示文本重复带来的语言模型偏差挑战。这一工作不仅推动了法罗语的自然语言处理进程，也为其他低资源语言的ASR研究树立了范式，具有深远的语言文化保护与技术民主化意义。