simon3000/starrail-voice

StarRail Voice数据集包含来自游戏《Honkai: Star Rail》的语音台词，支持多种语言（中文、英文、日文、韩文）。这些语音台词由游戏中的角色说出，涵盖了问候、战斗和故事对话等多种主题。数据集的特征包括音频文件、游戏内文件名、转录文本、语言、说话者和语音类型。数据集分为训练集，包含171,047个样本，总大小为91,463,616,840.128字节。数据集的创建过程涉及从游戏中解包数据，并包含官方的注释，如语言、说话者名称和转录文本。然而，部分语音台词缺少说话者名称和转录文本。数据集的使用者应注意这些限制和偏差。

The StarRail Voice dataset contains voice lines from the game Honkai: Star Rail, supporting multiple languages (Chinese, English, Japanese, Korean). These voice lines are spoken by characters in the game and cover a wide range of topics, including greetings, combat, and story dialogue. The dataset features include audio files, in-game filenames, transcriptions, language, speaker, and voice type. The dataset is divided into a training set containing 171,047 samples with a total size of 91,463,616,840.128 bytes. The dataset creation process involves unpacking data from the game and includes official annotations such as language, speaker names, and transcriptions. However, some voice lines are missing speaker names and transcriptions. Users of the dataset should be aware of these limitations and biases.

原始信息汇总

StarRail Voice 数据集概述

数据集描述

StarRail Voice 是一个包含来自游戏《崩坏：星穹铁道》角色语音线的数据集，支持多种语言，包括中文、英语、日语和韩语。语音线涵盖了问候、战斗和故事对话等多种主题。

数据集结构

特征

• audio: 音频数据
• ingame_filename: 游戏内文件名
• transcription: 转录文本
• language: 语言
• speaker: 说话者
• voice_type: 语音类型

数据分割

• train: 训练集，包含 163522 条样本，总大小为 109814171674.772 字节

数据集大小

• 下载大小: 77257812544 字节
• 数据集大小: 109814171674.772 字节

数据集创建

数据来源

数据来源于《崩坏：星穹铁道》游戏的解包。

数据处理

详细的数据处理方法请参考 StarRail-Voice 和 bnnm/wwiser-utils#15。

数据生产者

数据生产者为游戏开发者 HoYoverse。

标注信息

数据集包含游戏官方提供的标注，包括语言、说话者名称和转录文本。

偏差、风险和限制

标注不完全，部分语音线缺失说话者名称和转录文本。

许可信息

版权所有 © COGNOSPHERE。保留所有权利。

搜集汇总

数据集介绍

构建方式

在数字娱乐与语音技术交叉领域，高质量多语种语音数据集是推动音频分类、自动语音识别及文本转语音等任务发展的关键资源。StarRail Voice数据集源自热门游戏《崩坏：星穹铁道》，通过解包游戏资源文件获取原始语音数据。具体而言，数据采集流程依托于开源工具链，包括StarRail-Voice仓库以及wwiser-utils工具，实现了对游戏内音频文件的提取与解析。该数据集收录了185511条WAV格式语音片段，涵盖中文、英文、日文和韩文四种语言，每条数据包含音频文件、游戏内文件名、转录文本、语言标签、说话人标识及语音类型等结构化字段。构建过程严格遵循游戏官方资源格式，确保了数据与原始游戏内容的高度一致性。

特点

该数据集的核心特点在于其多维度标注体系与游戏场景的深度耦合。每条语音均附有语言、说话人及转录文本等官方标注信息，覆盖了角色问候、战斗指令及剧情对话等多样化场景，为多模态研究提供了丰富的语义上下文。数据集规模宏大，总存储量超过124GB，且支持按需获取WAV文件，便于灵活采样。值得注意的是，约27%的样本缺少说话人标签，27%缺少转录文本，22%缺少游戏内文件名，这种不完整性反映了真实游戏数据处理的挑战，同时也为研究数据补全与弱监督学习提供了天然试验场。

使用方法

使用者可通过Hugging Face datasets库直接加载该数据集，指定default配置即可获取训练分片数据。加载后，每条样本包含audio、ingame_filename、transcription、language、speaker及voice_type六个字段，适用于音频分类、自动语音识别及文本转语音等任务的模型训练与评估。对于缺失标注的样本，可依据游戏内文件名部分推断说话人信息，或结合多语言转录进行跨语言迁移学习。建议用户在使用前充分了解数据集的版权限制，其版权归属于COGNOSPHERE，仅限研究用途。数据集的动态更新特性（最近更新于2024年8月30日）也要求使用者关注版本变化，确保实验可复现性。

背景与挑战

背景概述

《崩坏：星穹铁道》作为米哈游旗下备受瞩目的开放世界角色扮演游戏，其角色语音系统承载了丰富的叙事层次与文化表达。由独立研究者simon3000于2024年8月构建的StarRail Voice数据集，从游戏资源中解包并整理了185,511条多语种语音片段，覆盖中文、英文、日文与韩文。该数据集的核心价值在于为语音分类、自动语音识别及文本转语音等任务提供了大规模、多说话人、多语种的游戏语音资源，其精细的字段设计——包括音频、文件名、转录文本、语言、说话人及语音类型——为跨语言语音研究、角色语音合成及游戏本地化技术提供了独特的数据基础。这一数据集的发布，标志着电子游戏语音资源在学术与工业应用中的潜力得到进一步挖掘。

当前挑战

该数据集面临多重挑战。首先，在领域问题层面，游戏语音的多样性（如战斗、剧情、日常对话等场景）与多语种混合特性，对现有语音识别与合成模型的泛化能力构成考验，尤其是对情感化、非正式口语的准确建模。其次，构建过程中约27%的语音片段缺失说话人标签，27%缺少转录文本，22%缺乏游戏内文件名，这些不完整的元数据严重制约了监督学习任务的性能与数据可用性。此外，数据来源于商业游戏，版权归属米哈游，导致其使用受限于非商业研究场景，且无法直接公开原始音频文件，需通过按需提供的方式分发，增加了数据获取的复杂性。

常用场景

经典使用场景

《崩坏：星穹铁道》多语言语音数据集（StarRail Voice）汇聚了游戏中角色在问候、战斗与剧情对话等场景下的海量语音片段，涵盖中文、英文、日文与韩文四种语言。该数据集最经典的使用场景在于多语种语音识别（ASR）与说话人识别（Speaker Identification）任务的基准测试与模型训练。研究者可借助其精细标注的说话人身份、语种标签及转录文本，构建面向游戏领域的高鲁棒性语音处理系统，尤其在角色语音的声学特征分析与多语言混合场景下展现出独特价值。

实际应用

在实际应用中，该数据集可助力游戏本地化团队优化语音质量与多语言配音一致性，支持智能语音助手在游戏场景下的角色语音识别与响应。此外，它还能用于开发基于语音的角色情感检测系统，提升玩家在游戏中的沉浸式体验。在虚拟主播、数字人交互等前沿领域，该数据集为多语种角色语音生成与克隆提供了关键训练素材，加速了娱乐产业中智能化语音服务的落地。

衍生相关工作

基于该数据集，研究者已衍生出多项经典工作，包括面向游戏角色的多语种语音识别模型微调（如Whisper模型在游戏语音上的领域适配），以及基于说话人嵌入的角色语音聚类与身份验证方法。此外，有工作利用其丰富的语音-文本对进行跨语言TTS合成，实现了同一角色在不同语种下的自然语音生成。数据集还催生了游戏语音情感标注与分类的研究，推动了多媒体内容理解中细粒度语音情感分析的发展。