遇见数据集

Galaxy MIDI Dataset

收藏
github2026-09-26 更新2026-09-27 收录
官方服务:

资源简介:

银河MIDI数据集是已知最大的、最全面的符号音乐数据集,包含19,893,571个独一无二、标准化的MIDI文件,以及预计算的特征、嵌入、歌词、卡拉OK数据和流派标签,专为音乐AI和MIR研究设计。

The Galaxy MIDI Dataset is the largest and most comprehensive symbolic music dataset known to date. It contains 19,893,571 unique and standardized MIDI files, along with pre-computed features, embeddings, lyrics, karaoke data, and genre labels, and is specifically designed for music AI and Music Information Retrieval (MIR) research.

创建时间:
2026-09-25
原始信息汇总

Galaxy MIDI Dataset 数据集总结

一、数据集概况

  • 数据集名称:Galaxy MIDI Dataset
  • 发布方:Project Los Angeles / Tegridy Code
  • 定位:已知星系中规模最大、最全面的 MIDI 数据集,是 Tegridy MIDI Dataset 和 Discover MIDI Dataset 的直接延续。
  • 核心规模:19,893,571 个唯一、标准化、原创的 MIDI 文件,总大小 152 GB。
  • 许可协议:CC BY-NC-SA 4.0(署名—非商业性使用—相同方式共享),可免费用于非商业研究、教育和创作,需注明出处。

二、数据集内容

1. 核心数据

  • MIDI 文件:19,893,571 个唯一、标准化、原创的 MIDI 文件。

2. 预计算注释与派生数据

  • 综合 MIDI 特征:17,190,286 组。
  • midisimx 嵌入向量:15,591,559 个。
  • 文件识别:9,361,365 个。
  • 流派/艺术家/歌曲标签:89,569 个 MIDI 文件。
  • 卡拉 OK MIDI:99,475 个。
  • 对齐英文歌词:47,069 个 MIDI 文件。

3. 精选子集

  • 单声部旋律 MIDI:2,111,480 个。
  • 独奏旋律 MIDI:754,092 个。
  • 独奏鼓轨 MIDI:586,398 个。

4. 其他资源

  • 8 个精选 JSONL 文件列表:用于内存高效地子集化与流式处理,包括 all、clean、aligned、drum_track、genres、karaoke、mono_melodies、solo_melodies。
  • 4 个生产级 SoundFont 音色库:用于渲染与试听。
  • 完整性验证:提供 MD5 与 SHA256 校验和。
  • 官方艺术图:数据集宣传图。
  • 捆绑源代码:midisimx、tegridy-tools 及许可证。

三、数据集结构

顶层目录/文件及其规模:

目录 / 文件 描述 规模
MIDIs 完整语料库,包含唯一、标准化、原创的 MIDI 文件 19,893,571 个文件
Features 预计算综合 MIDI 特征,合并为单一容器 17,190,286 条
Embeddings 干净 MIDI 子集的预计算 midisimx 嵌入 15,591,559 个向量
Files Lists 精选 JSONL 文件列表,用于快速子集化与流式处理 8 个列表
Identified MIDI 文件识别结果 9,361,365 条
Genres 流派、艺术家、歌曲标签 89,569 个 MIDI
Karaoke 卡拉 OK MIDI 数据 99,475 个 MIDI
Lyrics 对齐英文歌词 47,069 个 MIDI
SoundFonts 高质量 SF2 音色库,用于渲染与试听 4 个音色库
Artwork 官方数据集艺术图 —
Code 捆绑源代码:midisimx、tegridy-tools 及许可证 —
ATTRIBUTION.txt 来源归属信息 —

完整结构包含 11 个根目录、19,893,571 个 MIDI 文件、32 个数据文件。

四、关键特性

  • Galaxy 级规模:19,893,571 个唯一 MIDI 文件 / 152GB,同类中规模最大。
  • 唯一、标准化、原创:完全去重并标准化的语料库。
  • 17,190,286 组预计算综合 MIDI 特征:无需自行搭建提取管线。
  • 15,591,559 个预计算 midisimx 嵌入:可直接用于相似度搜索、检索和下游建模。
  • 9,361,365 个已识别 MIDI:经过匹配与识别的文件。
  • 99,475 个卡拉 OK MIDI 和 47,069 个带对齐英文歌词的 MIDI。
  • 89,569 个带流派、艺术家、歌曲标签的 MIDI。
  • 丰富的精选子集:2,111,480 个单声部旋律 MIDI、754,092 个独奏旋律、586,398 个独奏鼓轨。
  • 8 个精选 JSONL 文件列表:即时、内存高效地子集化。
  • 4 个生产级 SoundFont:可立即渲染与试听。
  • 配套 pip 包:两行代码即可下载并解压整个数据集。
  • 完整完整性验证:包含 MD5 与 SHA256 校验和。
  • 明确许可:CC BY-NC-SA 4.0。

五、安装与使用

环境要求

  • Python 3.x 及 pip。
  • 数据集压缩后大小为 152GB,需确保足够的磁盘空间和稳定的网络连接。
  • 推荐使用多核机器以进行快速并行解压。
  • 依赖项详见官方 midisimx 仓库。

1)安装

sh pip install -U galaxymidi

2)下载

python import galaxymidi galaxymidi.download_dataset()

或使用 Hugging Face CLI: sh pip install -U "huggingface_hub[cli]" huggingface-cli download projectlosangeles/Galaxy-MIDI-Dataset --repo-type dataset --local-dir Galaxy-MIDI-Dataset

3)解压

python from galaxymidi import fast_parallel_extract fast_parallel_extract.fast_parallel_extract()

4)快速开始

python import galaxymidi

加载精选文件列表

all_midis_files_list = galaxymidi.read_jsonl()

加载预计算 Galaxy 嵌入(midisimx 格式)

embeddings = galaxymidi.load_embeddings()

加载预计算综合 MIDI 特征

features = galaxymidi.load_features()

渲染 MIDI 以试听

output_wav_file = galaxymidi.render_midi(my_midi.mid)

配套工具

  • galaxymidi:配套 pip 包,支持一键下载、快速并行解压和数据加载,可通过 pip install galaxymidi 安装。
  • midisimx:用于计算数据集预计算嵌入部分的 MIDI 相似度与嵌入模型,作为 galaxymidi 的依赖自动安装。

六、文档

  • galaxymidi API Reference:https://github.com/asigalov61/galaxymidi/blob/main/galaxymidi/docs/API_REFERENCE.md
  • galaxymidi API Functions Index:https://github.com/asigalov61/galaxymidi/blob/main/galaxymidi/docs/API_FUNCTIONS_INDEX.md
  • Galaxy MIDI Dataset Technical Report:https://github.com/asigalov61/galaxymidi/tree/main/galaxymidi/report

七、数据集统计

  • 19,893,571 个唯一、标准化、原创的 MIDI 文件
  • 17,190,286 组预计算综合 MIDI 特征
  • 15,591,559 个预计算 MIDI 嵌入
  • 9,361,365 个已识别 MIDI 文件
  • 2,111,480 个带单声部旋律的 MIDI
  • 754,092 个独奏旋律 MIDI 文件
  • 586,398 个独奏鼓轨 MIDI 文件
  • 99,475 个卡拉 OK MIDI 文件
  • 89,569 个带流派、艺术家、歌曲标签的 MIDI
  • 47,069 个带对应英文歌词的 MIDI

八、完整性验证信息

  • MD5:e23f34866b946ea56c989d24eb9ae48b
  • SHA256:1c0aade6ff554a268230ec0404b04ccbf91e386058db109a1845115c510eb9aa

九、许可说明

  • 数据集采用 Creative Commons Attribution-NonCommercial-ShareAlike 4.0 International 许可(见 LICENSE-CC-BY-NC-SA.txt)。简言之:可在非商业目的下共享和改编数据集,但需适当署名(见 ATTRIBUTION.txt 及引用部分),并以相同许可分发衍生作品。
  • Code 目录中的捆绑代码按其自身许可条款分发,详见 Code/LICENSE。
  • 捆绑的 SoundFont 受其各自原始许可约束。

十、引用

bibtex @misc{project_los_angeles_2026, author = { Project Los Angeles and Tegridy Code }, title = { Galaxy MIDI Dataset }, year = 2026, url = { https://huggingface.co/projectlosangeles/Galaxy-MIDI-Dataset }, publisher = { Hugging Face } }

bibtex @misc{project_los_angeles_2025, author = { Project Los Angeles }, title = { Discover-MIDI-Dataset }, year = 2025, url = { https://huggingface.co/datasets/projectlosangeles/Discover-MIDI-Dataset }, publisher = { Hugging Face } }

bibtex @misc{TegridyMIDIDataset2025, title = {Tegridy MIDI Dataset: Ultimate Multi-Instrumental MIDI Dataset for MIR and Music AI purposes}, author = {Alex Lev}, publisher = {Project Los Angeles / Tegridy Code}, year = {2025}, url = {https://github.com/asigalov61/Tegridy-MIDI-Dataset} }

bibtex @misc {breadai_2025, author = { {BreadAi} }, title = { Sourdough-midi-dataset (Revision cd19431) }, year = 2025, url = {url{https://huggingface.co/datasets/BreadAi/Sourdough-midi-dataset}}, doi = { 10.57967/hf/4743 }, publisher = { Hugging Face } }

bibtex @inproceedings{bradshawaria, title={Aria-MIDI: A Dataset of Piano MIDI Files for Symbolic Music Modeling}, author={Bradshaw, Louis and Colton, Simon}, booktitle={International Conference on Learning Representations}, year={2025}, url={https://openreview.net/forum?id=X5hrhgndxW}, }

十一、应用方向

数据集设计用于支持音乐信息检索(MIR)、符号音乐生成、音乐理解、表示学习以及 Music AI 的大规模预训练。

搜集汇总
数据集介绍
Galaxy MIDI Dataset 数据集图片
构建方式
在符号音乐数据集构建领域,大规模、高质量且富含标注的资源长期稀缺。Galaxy MIDI Dataset的构建以去重、标准化和原创性为核心原则,经由自动化流程从多个来源汇聚并清洗出19,893,571个唯一MIDI文件,确保每个文件在音高、时值和元数据层面达到统一规范。在此基础上,构建者预先提取了17,190,286组综合MIDI特征,并利用midisimx嵌入模型生成15,591,559条向量表示,同时完成9,361,365个文件的匹配识别。针对特定任务需求,还从主库中筛选出单旋律、独奏旋律、鼓轨、卡拉OK、流派标签及对齐歌词等子集,形成层次分明的数据体系。全过程辅以MD5与SHA256校验,保障数据完整性与可复现性。
特点
该数据集以星系级规模著称,涵盖19,893,571个唯一MIDI文件,压缩体积达152GB,堪称目前已知最大的符号音乐语料库。其核心特色在于丰富的预计算资源:超过1700万条综合特征与1500余万条midisimx嵌入向量,使研究无需从零构建特征提取流程。数据集还提供936万余个已识别文件、近10万首卡拉OK MIDI、4.7万余首带对齐英文歌词的曲目,以及8.9万余条流派、艺术家和歌曲标签。八个精心整理的JSONL文件列表支持内存高效地流式读取子集,四款专业级SoundFont则便于即时渲染试听。整体采用CC BY-NC-SA 4.0许可,为非商业研究与教育应用提供了清晰的法律框架。
使用方法
使用该数据集时,研究人员可通过pip安装配套的galaxymidi包,以少量代码完成从Hugging Face下载152GB压缩数据、快速并行解压到本地、以及加载各类预计算资源的工作。具体而言,调用download_dataset()函数获取数据,运行fast_parallel_extract()实现多核并行解压;随后利用read_jsonl()读取八个JSONL文件列表之一,快速定位所需子集,如全量、干净、对齐、鼓轨、流派、卡拉OK、单旋律或独奏旋律等。load_embeddings()和load_features()分别载入预计算的midisimx嵌入与综合MIDI特征,而render_midi()可将任意MIDI文件渲染为WAV音频以便试听。整个过程无需手动扫描全库,显著降低大规模符号音乐数据的使用门槛。
背景与挑战
背景概述
符号音乐数据的规模化与标准化长期受限于版权分散、格式异构及标注稀缺,导致大规模预训练与信息检索研究难以获得统一基准。2026年,Project Los Angeles与Tegridy Code联合发布Galaxy MIDI Dataset,作为Tegridy MIDI Dataset与Discover MIDI Dataset的直接延续。该数据集汇集19,893,571个唯一、标准化MIDI文件,并附带预计算特征、midisimx嵌入、歌词、卡拉OK数据及流派标签,规模达152GB。其核心研究问题在于为音乐信息检索、符号音乐生成、表示学习及大规模音乐AI预训练提供可复现的底层资源,并显著降低了相关领域的数据获取与处理门槛。
当前挑战
在领域层面,符号音乐研究长期面临数据规模不足、标注稀缺与表示学习基准缺失的困境,Galaxy MIDI Dataset旨在以超大规模与丰富预计算注释缓解上述瓶颈。在构建过程中,主要挑战包括:从多源异构语料中实现完全去重与标准化,确保近两千万文件的唯一性与格式一致性;为千万级文件高效计算综合MIDI特征与midisimx嵌入,并维持计算与存储的可扩展性;在歌词对齐、卡拉OK提取及流派/艺术家/歌曲标签生成中应对噪声与不完整信息;以及为152GB语料提供可靠完整性校验与轻量级加载工具,以支撑大规模研究场景下的可复现访问。
常用场景
经典使用场景
在音乐信息检索与符号音乐生成领域,大规模、高质量且标注完备的MIDI语料库构成了算法训练与评估的基石。Galaxy MIDI Dataset以其近两千万标准化MIDI文件及预计算特征、嵌入和歌词对齐数据,成为训练符号音乐生成模型、旋律提取与和声分析系统的经典资源。研究者常利用其单旋律与鼓轨子集进行旋律建模与节奏生成实验,或借助嵌入向量开展相似检索与聚类研究,从而在统一基准上比较不同方法的性能。
实际应用
在实际应用中,该数据集广泛服务于智能作曲辅助、自动伴奏生成、音乐推荐与翻唱检索等场景。开发者可借助预训练嵌入快速构建以曲搜曲引擎,或利用卡拉OK与歌词数据实现人声分离与歌词同步显示。其高质量音色库支持即时渲染试听,降低了音乐科技产品原型的开发门槛。教育领域亦受益于此,学生可通过丰富子集直观学习音乐信息检索与生成模型原理,加速从理论到实践的转化。
衍生相关工作
作为Tegridy MIDI Dataset与Discover MIDI Dataset的直接延续,Galaxy MIDI Dataset催生了一系列经典衍生工作。基于其嵌入的midisimx模型已被用于音乐相似性检索与推荐系统研究,而结合其歌词与卡拉OK子集的工作则推动了歌词对齐与歌声合成任务的发展。此外,该数据集启发了Sourdough-midi-dataset与Aria-MIDI等后续数据集的构建,并在多个国际会议上成为符号音乐建模与表示学习的标准评测基准,持续影响着音乐AI社区的研究方向。
以上内容由遇见数据集搜集并总结生成
二维码
社区交流群
二维码
科研交流群
商业服务