SHS-YT

SHS-YT数据集由柏林洪堡大学的研究团队创建，旨在评估现有版本识别模型在处理YouTube上的翻唱歌曲时的鲁棒性。该数据集包含900个版本，数据来源于YouTube平台，涵盖了西方流行音乐的广泛样本。数据集的创建过程包括从YouTube上检索候选版本、使用多模态不确定性采样方法筛选版本，并通过众包平台Mechanical Turk进行人工标注。该数据集的应用领域主要集中在音乐检索和版权侵权检测，旨在解决现有模型在处理YouTube上的翻唱歌曲时可能遇到的挑战。The SHS-YT dataset was created by a research team from Humboldt-Universität zu Berlin, aiming to evaluate the robustness of existing version identification models when handling cover songs on YouTube. This dataset includes 900 versions sourced from the YouTube platform, covering a broad range of Western popular music samples. The dataset's creation process involves retrieving candidate versions from YouTube, screening these versions using the multimodal uncertainty sampling method, and conducting manual annotation via Amazon Mechanical Turk. The primary application domains of this dataset are music retrieval and copyright infringement detection, which aims to address the challenges that existing models may encounter when processing cover songs on YouTube.

搜集汇总

数据集介绍

构建方式

SHS-YT数据集的构建采用了多模态不确定性采样方法，结合了音频和文本信息的双重代理模型。首先，研究者从YouTube平台检索了大量候选版本，并通过音频特征（CREMA）和文本元数据（YouTube标题和频道名称）进行相似性计算。随后，通过不确定性采样策略，筛选出最具挑战性的版本，最终通过众包平台Mechanical Turk和音乐专家的双重标注，确保了数据集的多样性和复杂性。

特点

SHS-YT数据集的特点在于其专注于YouTube平台上的翻唱版本，涵盖了多种音乐改编形式，如纯乐器版本、人声独唱版本以及混音版本等。数据集不仅包含传统的翻唱版本，还涵盖了YouTube特有的视频内容，如背景音乐、低质量录音以及包含非音乐内容的视频。此外，数据集通过专家标注提供了详细的版本不确定性分类，为研究翻唱版本识别的模型鲁棒性提供了丰富的数据支持。

使用方法

SHS-YT数据集可用于评估翻唱版本识别模型在YouTube平台上的表现。研究者可以通过该数据集测试模型在处理复杂音频和视频内容时的鲁棒性，尤其是针对非传统翻唱版本的识别能力。数据集提供了详细的版本分类和不确定性标注，可用于分析模型在不同类型翻唱版本上的表现差异，并为模型优化提供方向。此外，数据集还可用于研究音频特征提取、文本元数据融合以及多模态信息处理在音乐信息检索中的应用。

背景与挑战

背景概述

SHS-YT数据集由Simon Hachmeier和Robert Jäschke于2025年创建，旨在评估现有音乐版本识别（Version Identification, VI）模型在YouTube平台上的鲁棒性。该数据集基于YouTube上的翻唱歌曲，通过多模态不确定性采样方法构建，并结合了人类标注。SHS-YT的创建动机源于现有VI模型在固定数据集（如SecondHandSongs）上的表现良好，但在YouTube等在线视频平台上表现不佳。YouTube上的翻唱歌曲可能包含多种变体，如乐器独奏、卡拉OK版本等，这些变体在传统数据集中较少见。SHS-YT的推出为研究社区提供了一个新的基准，用于评估模型在处理分布外数据时的表现。

当前挑战

SHS-YT数据集面临的主要挑战包括：1) 领域问题的挑战：现有VI模型在处理YouTube上的翻唱歌曲时表现不佳，尤其是在面对乐器独奏、卡拉OK版本等变体时，模型的排名性能显著下降。这些变体在传统数据集中较少见，导致模型难以准确识别。2) 构建过程中的挑战：在数据集构建过程中，研究人员需要处理YouTube视频与翻唱版本之间的对齐问题。YouTube视频可能包含多个版本或仅包含部分版本，且视频中可能包含非音乐内容（如评论或背景噪音），这些因素增加了数据标注的复杂性。此外，多模态不确定性采样方法的使用虽然提高了数据集的多样性，但也增加了数据处理的难度。

常用场景

经典使用场景

SHS-YT数据集主要用于音乐版本识别（Version Identification, VI）领域的研究，特别是在在线视频平台如YouTube上的翻唱歌曲识别。该数据集通过多模态不确定性采样方法构建，结合了音频和文本特征，旨在评估现有模型在面对分布外数据时的鲁棒性。经典的使用场景包括对翻唱歌曲的自动检测、音乐推荐系统的优化以及版权侵权检测等任务。

衍生相关工作

SHS-YT数据集的发布催生了一系列相关研究工作。例如，基于该数据集的研究揭示了现有模型在处理特定类型翻唱版本（如纯乐器版本或人声独唱版本）时的局限性，推动了针对这些问题的模型改进。此外，SHS-YT还为音乐信息检索领域的其他任务（如音乐相似性计算和音频指纹识别）提供了新的数据来源。一些研究还利用该数据集开发了多模态融合模型，结合音频和文本信息来提高翻唱识别的准确性。

数据集最近研究

最新研究方向

近年来，SHS-YT数据集在音乐版本识别（Version Identification, VI）领域的研究中引起了广泛关注。该数据集通过多模态不确定性采样方法构建，并结合YouTube平台上的丰富音乐资源，旨在评估现有VI模型在分布外数据上的鲁棒性。研究表明，尽管现有模型在传统数据集上表现优异，但在处理YouTube上的音乐版本时，其排名性能显著下降。特别是，某些类型的音乐版本（如纯乐器版本）对现有模型构成了较大挑战。SHS-YT数据集的引入不仅揭示了现有模型的局限性，还为未来的研究提供了新的方向，例如通过增强模型对噪声和变异的鲁棒性，或结合音频指纹技术来应对低质量录音和背景噪声等问题。这一研究为音乐信息检索领域的进一步发展提供了重要的数据支持和理论依据。

相关研究论文

• On the Robustness of Cover Version Identification Models: A Study Using Cover Versions from YouTube

  柏林洪堡大学图书馆与信息科学学院 · 2025年