YT-Data/ja-en-syn-qwen3-mimi

--- license: apache-2.0 task_categories: - text-to-speech language: - en - ja configs: - config_name: default data_files: - split: train path: - data/*.parquet - data2/*.parquet - data3/*.parquet --- # ja-en-syn-qwen3-mimi `YT-Data/ja-en-syn` encoded for OrpheusPlus training: Qwen3-4B text tokens + Mimi audio tokens in the Orpheus prompt layout. Single column `input_ids`. Built by `encode_mimi.py`. Shards are split across `data/`, `data2/`, `data3/` so each remote directory stays at <=10000 files (HF Hub limit).This dataset is designed for text-to-speech (TTS) tasks, specifically encoded for OrpheusPlus training. It is based on YT-Data/ja-en-syn data, utilizing Qwen3-4B text tokens and Mimi audio tokens, organized in the Orpheus prompt layout with a single column input_ids. The dataset supports English (en) and Japanese (ja) languages, stored in .parquet format and sharded across data/, data2/, and data3/ directories to comply with HuggingFace Hubs file limit. It is built via the encode_mimi.py script, aiming to provide preprocessed data for speech synthesis model training.

搜集汇总

数据集介绍

构建方式

该数据集立足于跨语言语音合成任务中对高质量双语建模数据的需求，以YT-Data/ja-en-syn为源语料，通过encode_mimi.py脚本完成统一编码。构建过程中，文本侧采用Qwen3-4B的文本分词器生成文本token序列，音频侧则由Mimi神经音频编解码器提取离散声学token，二者依照Orpheus提示模板的排布方式拼接为单一input_ids字段，从而使每个样本同时承载语义与声学信息。为规避HuggingFace Hub单目录文件数量上限，编码后的分片被分散存放于data、data2与data3三个子目录，形成结构规整、便于加载的Parquet数据集合。

使用方法

使用该数据集时，研究者可借助HuggingFace datasets库直接加载默认配置，训练集自动汇聚data、data2与data3下的全部Parquet分片，无需手动合并。加载所得样本仅含input_ids字段，可直接送入基于Orpheus提示布局训练的模型，用于文本到语音的监督微调或继续预训练。由于文本token与Mimi音频token共享同一序列，使用中需遵循Orpheus的提示结构约定，在推理与训练时保持相同的token排布与边界设置。若需按语言或说话人筛选，可结合源数据集YT-Data/ja-en-syn的元信息进行对齐。

背景与挑战

背景概述

语音合成领域长期追求跨语言、高保真的端到端生成，而日语与英语的混合场景因音素系统差异大、韵律规则迥异，始终缺乏统一建模的公开资源。ja-en-syn-qwen3-mimi数据集由YT-Data团队于2024年前后构建，将原始ja-en-syn语料经由Qwen3-4B文本分词器与Mimi音频编解码器编码，形成OrpheusPlus训练所需的单列input_ids序列，实现了文本与音频令牌在统一提示布局下的对齐。该数据集为双语语音合成、语音语言模型预训练及跨语言迁移研究提供了标准化基准，其分片存储策略也回应了HuggingFace Hub单目录文件数限制的工程约束，对推动低资源语音生成研究具有基础性意义。

当前挑战

该数据集所应对的领域问题在于日语与英语混合语音合成中的跨语言韵律一致性与音素映射准确性，传统单语模型难以兼顾两种语言的音高重音与节奏模式。构建过程中的挑战尤为突出：Qwen3-4B文本令牌与Mimi音频令牌在时间粒度上存在固有失配，需设计精确的对齐与提示布局策略；OrpheusPlus训练框架对序列长度与令牌分布敏感，编码过程须在保持语义完整的同时控制序列规模；此外，为规避HuggingFace Hub单目录万文件上限而进行的三路分片，虽解决了存储约束，却增加了数据加载与全局打乱时的工程复杂度，对训练管线的鲁棒性提出更高要求。

常用场景

经典使用场景

在跨语言语音合成与语音克隆的研究中，ja-en-syn-qwen3-mimi数据集扮演着至关重要的角色。该数据集将日英双语语音数据编码为Qwen3-4B文本标记与Mimi音频标记的混合序列，严格遵循Orpheus训练提示布局，为文本到语音合成任务提供了统一的建模接口。典型使用场景涵盖条件语音生成、零样本语音克隆以及基于提示的韵律迁移，研究者可借助单一的input_ids列直接微调自回归语音模型，从而在日英混合语境下实现高保真的声学重建与跨说话人风格保持。

解决学术问题

该数据集有效缓解了多语言语音合成研究中长期存在的标记空间异构与语料对齐困难等核心问题。通过将离散文本标记与连续音频标记统一映射至Orpheus提示格式，它消除了传统流水线中声学特征与语言特征分离所带来的误差累积，使模型能够在单一序列中同时建模语言内容与声学细节。这一设计为低资源跨语言迁移、语码转换语音生成以及说话人解耦等学术议题提供了可复现的基准，推动了端到端语音生成范式向更简洁、更统一的方向演进。

实际应用

在工业级语音交互系统与内容创作工具中，该数据集可用于构建支持日英双语切换的语音助手、有声读物自动配音以及游戏角色动态语音生成等应用。其编码格式与OrpheusPlus训练框架无缝对接，使开发者能够以较低的计算开销微调大规模自回归模型，快速部署个性化语音合成服务。此外，该数据集亦适用于辅助无障碍阅读、跨语言会议实时转述以及虚拟主播的多语种内容生产，显著降低了多语言语音系统从研究到落地的工程门槛。

数据集最近研究

最新研究方向

在语音生成与跨语言建模的交叉领域，ja-en-syn-qwen3-mimi数据集为基于大语言模型的语音合成研究提供了新型训练范式。该数据集将Qwen3-4B文本标记与Mimi音频标记在Orpheus提示布局下统一编码，使模型能够在单一序列中联合建模日英双语文本与声学特征，从而推动零样本跨语言语音克隆与端到端语音对话系统的发展。当前前沿研究聚焦于利用此类混合标记数据探索语音语言模型的自回归生成能力，尤其在低资源语音合成、副语言信息保留及实时交互场景中展现出显著潜力。该数据集的分片存储策略亦回应了HuggingFace Hub文件数限制的工程挑战，为大规模语音标记数据的分布式训练提供了可复用的实践路径，对多模态语音基础模型的构建具有重要的支撑意义。