doof-ferb/fpt_fosd

---
license: cc-by-4.0
task_categories:
- automatic-speech-recognition
- text-to-speech
language:
- vi
pretty_name: FPT Open Speech Dataset (FOSD)
size_categories:
- 10K<n<100K
dataset_info:
features:
- name: audio
dtype: audio
- name: transcription
dtype: string
splits:
- name: train
num_bytes: 684961355.008
num_examples: 25917
download_size: 819140462
dataset_size: 684961355.008
configs:
- config_name: default
data_files:
- split: train
path: data/train-*
---

# unofficial mirror of FPT Open Speech Dataset (FOSD)

released publicly in 2018 by FPT Corporation

100h, 25.9k samples

official link (dead): https://fpt.ai/fpt-open-speech-data/

mirror: https://data.mendeley.com/datasets/k9sxg2twv4/4

DOI: `10.17632/k9sxg2twv4.4`

pre-process:
- remove non-sense strings: `-N` `\r\n`
- remove 4 files because missing transcription:
- `Set001_V0.1_008210.mp3`
- `Set001_V0.1_010753.mp3`
- `Set001_V0.1_011477.mp3`
- `Set001_V0.1_011841.mp3`

need to do: check misspelling

usage with HuggingFace:
```python
# pip install -q "datasets[audio]"
from datasets import load_dataset
from torch.utils.data import DataLoader

dataset = load_dataset("doof-ferb/fpt_fosd", split="train", streaming=True)
dataset.set_format(type="torch", columns=["audio", "transcription"])
dataloader = DataLoader(dataset, batch_size=4)
```

许可证：知识共享署名4.0（CC BY 4.0）
task_categories:
- 自动语音识别（Automatic Speech Recognition）
- 文本转语音（Text-to-Speech）
language:
- 越南语（vi）
pretty_name: FPT开源语音数据集（FPT Open Speech Dataset, FOSD）
size_categories:
- 10K<n<100K（样本量介于10000至100000之间）
dataset_info:
features:
- name: audio（音频）
dtype: 音频
- name: transcription（转录文本）
dtype: 字符串
splits:
- name: train（训练集）
num_bytes: 684961355.008
num_examples: 25917
download_size: 819140462
dataset_size: 684961355.008
configs:
- config_name: default（默认配置）
data_files:
- split: train（训练集）
path: data/train-*
---

# FPT开源语音数据集（FPT Open Speech Dataset, FOSD）非官方镜像

该数据集由FPT公司（FPT Corporation）于2018年公开发布，包含100小时语音数据、共计25917条样本。

官方链接已失效：https://fpt.ai/fpt-open-speech-data/
镜像链接：https://data.mendeley.com/datasets/k9sxg2twv4/4
DOI: `10.17632/k9sxg2twv4.4`

预处理步骤：
- 移除无意义字符串：`-N`、`
`
- 移除4条缺失转录文本的音频文件：
- `Set001_V0.1_008210.mp3`
- `Set001_V0.1_010753.mp3`
- `Set001_V0.1_011477.mp3`
- `Set001_V0.1_011841.mp3`

待处理事项：检查拼写错误

HuggingFace使用示例：
python
# 静默安装依赖：pip install -q "datasets[audio]"
from datasets import load_dataset
from torch.utils.data import DataLoader

dataset = load_dataset("doof-ferb/fpt_fosd", split="train", streaming=True)
dataset.set_format(type="torch", columns=["audio", "transcription"])
dataloader = DataLoader(dataset, batch_size=4)

原始信息汇总

FPT Open Speech Dataset (FOSD)

基本信息

• 许可证: cc-by-4.0
• 任务类别:
  • 自动语音识别
  • 文本转语音
• 语言: 越南语
• 数据集名称: FPT Open Speech Dataset (FOSD)
• 数据量: 10K<n<100K

数据集详情

• 特征:
  • 音频
  • 转录文本
• 分割:
  • 训练集: 25917个样本, 684961355.008字节
• 下载大小: 819140462字节
• 数据集大小: 684961355.008字节

配置

• 默认配置:
  • 数据文件路径: data/train-*

搜集汇总

数据集介绍

构建方式

在语音识别与合成领域，高质量的标注语料库是模型性能的关键基石。FPT Open Speech Dataset（FOSD）由FPT Corporation于2018年公开发布，是越南语语音处理的重要资源。该数据集包含约100小时、25,917个样本的音频-文本对，原始数据源自FPT官方平台，现已通过Mendeley数据仓库提供镜像。在构建过程中，研究团队对原始音频进行了严格的预处理：剔除了如“-N”和“\r\n”等无意义字符串，并移除了4个因转录信息缺失而无法使用的文件（如Set001_V0.1_008210.mp3等），最终形成统一的训练集。数据以HuggingFace Datasets格式组织，包含音频与转录两列特征，便于直接加载与使用。

使用方法

FOSD的设计充分考虑了易用性与可扩展性，尤其适用于自动语音识别（ASR）与文本转语音（TTS）任务。用户可通过HuggingFace的`datasets`库直接加载数据，仅需一行代码`load_dataset("doof-ferb/fpt_fosd", split="train", streaming=True)`即可获取流式数据集，有效节省内存。加载后，可调用`set_format`方法将音频与转录列转换为PyTorch张量格式，无缝接入深度学习训练流程。建议结合`DataLoader`设置批量处理，例如`batch_size=4`，以适配不同计算资源。此外，研究者可基于此数据集进行微调、评估或跨语言迁移学习，充分发挥其作为越南语语音基准的价值。

背景与挑战

背景概述

在自动语音识别与文本转语音领域，高质量、大规模且经过标注的语料库是推动模型性能提升的关键基石。2018年，由越南FPT Corporation公开发布的FPT Open Speech Dataset（FOSD）应运而生，旨在填补越南语语音数据资源的稀缺空白。该数据集包含约100小时、总计25,917条语音样本及其对应的文本转录，由FPT集团的研究团队主导创建，核心研究问题聚焦于为越南语语音技术提供标准化训练与评估基准。作为越南语语音处理领域的重要里程碑，FOSD不仅促进了本地化语音应用的开发，还吸引了国际研究者的关注，其影响力体现在后续诸多越南语语音识别与合成系统的基准测试中，成为该语言方向不可或缺的参考数据集。

当前挑战

该数据集面临的挑战主要体现在两个层面。在领域问题层面，越南语作为声调语言，其音调变化与发音细微差异对语音识别模型构成了天然难度，加之数据集覆盖的说话人、口音及录音环境多样性有限，可能导致模型在真实场景下的泛化能力不足。在构建过程层面，原始数据中存在非语义字符串（如“-N”“\r\n”）以及4条缺失转录的音频文件，需经人工清洗与剔除；此外，转录文本中可能存在的拼写错误尚未系统校正，这要求后续使用者投入额外精力进行质量校验。这些挑战共同制约了数据集在端到端模型训练中的直接应用，亟需通过数据增强、噪声鲁棒性设计及细致的文本规范化策略加以应对。

常用场景

经典使用场景

在越南语语音处理领域，FPT Open Speech Dataset（FOSD）作为由FPT公司于2018年公开发布的大规模语料库，凭借其超过100小时、囊括近2.6万个样本的音频-文本配对数据，成为自动语音识别（ASR）和文本转语音（TTS）研究的基石。该数据集最经典的使用场景在于训练端到端的越南语声学模型，研究者常将其作为预训练语料，通过序列到序列学习或连接主义时间分类（CTC）架构，提升模型对越南语声调、音节韵律及复杂音位系统的建模能力。同时，FOSD也被广泛用于评估跨语言迁移学习的效果，为低资源语音技术提供宝贵的基准测试平台。

解决学术问题

FOSD的发布有效缓解了越南语语音资源稀缺的困境，解决了学术研究中因标注数据不足导致模型泛化性差的核心难题。该数据集为学界提供了标准化的训练与评估基准，使得研究者能够系统性地探索深度神经网络在越南语声学特征提取中的表现，推动了对声调轮廓、元音共振峰等语言特异性的量化分析。其意义在于填补了东南亚语种在开源语音数据集上的空白，促进了多语言语音识别框架的公平比较，并催生了针对越南语噪声鲁棒性、说话人自适应等前沿问题的实证研究，显著提升了该语种在学术共同体中的可见度。

实际应用

在实际应用中，FOSD赋能了越南语智能语音助手的开发与优化，例如集成于移动设备、车载系统及智能家居中的语音指令识别模块。通过利用该数据集训练的ASR模型，企业能够实现高精度的越南语实时转写服务，应用于客户服务中心的自动质检、会议纪要生成及法律文档的语音录入等场景。此外，FOSD还支撑了越南语教育领域的语音评测工具，帮助学习者矫正发音，同时为视障人士提供语音交互界面，降低了数字服务的访问门槛，展现出显著的社会与商业价值。

数据集最近研究

最新研究方向

在低资源语言语音处理领域，越南语作为声调语言，其自动语音识别（ASR）与语音合成（TTS）技术正成为研究热点。FPT Open Speech Dataset（FOSD）作为由FPT Corporation于2018年公开发布的100小时越南语语音数据集，近期被研究者重新挖掘并用于前沿的端到端声学建模与多任务学习。该数据集在迁移学习场景中扮演关键角色，常与大规模多语言预训练模型（如Whisper、XLS-R）结合，探索声调特征嵌入与方言鲁棒性。同时，随着语音大模型与低资源语音技术在国际顶会（如ICASSP、Interspeech）中的持续升温，FOSD成为验证跨语种泛化能力与数据增强策略的重要基准。其意义不仅在于填补越南语开源语音资源的空白，更推动了东南亚语言在智能语音交互、语音搜索等实际应用中的落地进程。