FruitsMusic

FruitsMusic是由日本国立先进工业科学技术研究所和东京大学合作创建的一个真实世界日本偶像团体歌曲的元数据语料库。该数据集包含40首歌曲的详细注释，涵盖了不同风格和分配方式的歌曲，共有122位女性歌手参与。数据集的创建过程包括从YouTube上收集音乐视频，并进行精确的歌唱段落和时间标记。FruitsMusic主要用于音乐信息检索技术的发展，如歌词转录和歌手识别，旨在解决歌手分割和识别的问题，特别是在多歌手歌曲中的应用。FruitsMusic is a metadata corpus of real-world Japanese idol group songs, co-developed by the National Institute of Advanced Industrial Science and Technology (AIST) of Japan and the University of Tokyo. This dataset contains detailed annotations for 40 songs, covering works with diverse musical styles and vocal allocation patterns, involving a total of 122 female singers. The dataset construction process involves collecting music videos from YouTube and performing precise annotations of singing segments and their corresponding timestamps. FruitsMusic is primarily intended to advance music information retrieval (MIR) technologies such as lyric transcription and singer identification, and aims to address the challenges of singer segmentation and identification, particularly for multi-singer songs.

搜集汇总

数据集介绍

构建方式

FruitsMusic数据集的构建基于对日本偶像团体歌曲的详细注释，这些歌曲从YouTube上获取。研究团队精心挑选了40个音乐视频，涵盖了18个不同团体，共计122名女性歌手，年龄约20岁。数据集包括163分钟的音乐视频内容，详细标注了谁在何时唱歌。注释文件采用JSON和RTTM格式，分别用于存储歌曲信息和歌手活动时间。此外，数据集还提供了歌词的文本文件，以支持歌词转录等任务。

特点

FruitsMusic数据集的一个显著特点是其专注于日本偶像团体的实际歌曲，这些歌曲具有独特的歌唱分配和风格。数据集包含了多种音乐流派、歌唱分配方式和团体规模，从4到9名成员不等。此外，数据集的设计考虑了多模态处理的需求，如多模态分割，这得益于其视频基础。数据集的分集设计（Subset A和Subset B）旨在支持训练和评估的无偏性，确保了数据集在实际应用中的广泛适用性。

使用方法

FruitsMusic数据集可用于多种音乐信息检索（MIR）任务，如歌手分割、歌手识别和歌词转录。用户可以通过访问数据集的官方网站下载数据，并根据提供的JSON和RTTM文件进行分析。数据集的注释详细，支持多种MIR技术的开发和评估，特别是在处理多歌手歌曲时。此外，数据集的分集设计允许用户在不同阶段使用不同的子集进行训练和测试，从而确保模型的泛化能力和鲁棒性。

背景与挑战

背景概述

FruitsMusic数据集由日本先进工业科学技术研究所（AIST）和东京大学共同创建，专注于日本偶像团体歌曲的元数据语料库。该数据集精确标注了谁在何时演唱，旨在提升歌手分割技术，以识别日本流行文化中独特的歌唱安排风格。FruitsMusic的构建基于YouTube上的40个日本偶像团体音乐视频，包含详细的注释，涵盖多种音乐流派、分割和分配风格，以及4到9名成员的团体。该数据集不仅支持日本偶像团体歌曲的研究，还为广泛的音乐信息检索技术提供了资源，如歌词转录和歌手识别。

当前挑战

FruitsMusic数据集面临的挑战包括：1) 解决歌手分割技术在复杂音乐环境中的应用问题，特别是在多歌手同时演唱的情况下；2) 数据集构建过程中遇到的挑战，如从YouTube视频中提取高质量音频和精确标注的难度。此外，该数据集还需应对多语言和多文化背景下歌手识别的复杂性，以及在实际应用中提升自动分割性能的需求。

常用场景

经典使用场景

FruitsMusic数据集的经典使用场景主要集中在音乐信息检索（MIR）领域，特别是歌手分割（singer diarization）任务。该数据集通过详细标注日本偶像团体歌曲中的演唱者及其演唱时间，为研究人员提供了一个真实世界的语料库。这使得研究人员能够开发和评估用于识别歌曲中谁在何时演唱的技术，从而提升歌手分割技术的准确性和鲁棒性。此外，FruitsMusic还支持歌词转录、情感分类、歌手识别和基于歌手的音乐搜索等多种MIR技术的发展。

实际应用

FruitsMusic数据集在实际应用中具有广泛的前景。首先，它可以帮助音乐制作人和唱片公司更准确地分析和理解偶像团体歌曲的结构和演唱分配，从而优化音乐制作流程。其次，该数据集可以用于开发智能音乐播放器和推荐系统，通过识别和推荐特定歌手的歌曲，提升用户体验。此外，FruitsMusic还可以应用于音乐教育和研究，帮助学生和研究人员更好地理解和分析音乐作品的演唱结构和情感表达。

衍生相关工作

FruitsMusic数据集的发布催生了一系列相关的经典工作。首先，研究人员利用该数据集开发了多种歌手分割算法，显著提升了分割的准确性和鲁棒性。其次，基于FruitsMusic的歌词转录和情感分类技术也取得了显著进展，为音乐信息检索领域提供了新的工具和方法。此外，该数据集还促进了多模态处理技术的发展，如结合视频和音频信息进行更精确的歌手分割。这些衍生工作不仅丰富了音乐信息检索领域的研究内容，还为实际应用提供了强有力的支持。