diarizers-community/ami_ihm_with_transcripts

该数据集包含音频数据及其相关的时间戳、说话者、文件名和转录文本。数据集分为训练集、验证集和测试集，分别包含136、18和16个样本。训练集大小为9300625286字节，验证集大小为1114513672字节，测试集大小为1044782687字节。数据集的下载大小为10258803858字节，总大小为11459921645字节。

The dataset includes multiple features such as audio, timestamps, speakers, file names, and transcripts. The audio feature has a sampling rate of 16000Hz. The dataset is divided into training, validation, and test sets, containing 136, 18, and 16 samples respectively. The total download size of the dataset is 10258803858 bytes, and the total size is 11459921645.0 bytes.

原始信息汇总

数据集概述

特征信息

• audio: 音频数据，采样率为16000。
• timestamps_start: 时间戳开始序列，数据类型为float64。
• timestamps_end: 时间戳结束序列，数据类型为float64。
• speakers: 说话者序列，数据类型为string。
• file_name: 文件名，数据类型为string。
• transcripts: 转录文本序列，数据类型为string。

数据集划分

• train: 训练集，包含136个样本，总大小为9300625286.0字节。
• validation: 验证集，包含18个样本，总大小为1114513672.0字节。
• test: 测试集，包含16个样本，总大小为1044782687.0字节。

数据集大小

• 下载大小: 10258803858字节。
• 数据集总大小: 11459921645.0字节。

配置信息

• config_name: default
  • data_files:
    • train: 路径为data/train-*。
    • validation: 路径为data/validation-*。
    • test: 路径为data/test-*。

搜集汇总

数据集介绍

构建方式

该数据集基于AMI语料库中的个体头戴麦克风（IHM）录音构建，聚焦于多人会议场景下的语音交互。原始音频被统一重采样至16kHz采样率，并经过精准的语音活动检测与说话人日志化处理，提取出每位说话人的时间戳起止点、对应身份标签及逐句转录文本。数据划分为训练集（136例）、验证集（18例）与测试集（16例），以支持说话人日志与语音识别联合任务的模型开发与评估。

特点

数据集的核心特色在于其多模态标注的精细化与结构化：每个样本同时包含原始音频、说话人身份序列、时间边界以及完整转录文本，形成音频-说话人-文本的三元组对齐关系。这种设计使得研究者能够同时开展说话人日志、语音识别及端到端联合建模实验。此外，数据源自真实会议场景，具备自然的说话人重叠、语速变化及背景噪声，为模型鲁棒性提供了真实世界的挑战性测试环境。

使用方法

使用时，可通过HuggingFace Datasets库加载'diarizers-community/ami_ihm_with_transcripts'配置，直接获取预分割的训练/验证/测试分片。音频字段以16kHz采样率自动解码，时间戳与说话人标签以序列形式提供，便于构建基于时间对齐的说话人日志流水线。转录文本字段支持直接接入语音识别评估流程，或与时间戳结合用于强制对齐与语义分析任务，推荐搭配pyannote-audio等库实现端到端系统集成。

背景与挑战

背景概述

在对话人工智能与语音交互系统迅猛发展的当下，精准的说话人日志（Speaker Diarization）与自动语音识别（ASR）的联合建模成为提升人机对话自然度的关键瓶颈。由国际研究社群构建的AMI语料库（Augmented Multi-party Interaction）以其丰富的会议场景录音而闻名，而diarizers-community/ami_ihm_with_transcripts数据集则在此基础上进行了精细化处理，专注于独立头戴麦克风（IHM）通道的语音数据，并附带了人工转写文本。该数据集创建于近年来，由多个学术机构与工业界团队联合维护，核心研究问题在于如何利用高保真多说话人对话数据，推动端到端说话人分离与转录对齐技术的进步。其对相关领域的影响力体现在为说话人日志评估提供了标准化的基准，尤其在会议理解、人机协作等复杂交互场景中，已成为验证模型鲁棒性与泛化能力的重要资源。

当前挑战

该数据集所解决的领域挑战主要集中于多说话人重叠语音的准确分割与身份识别，以及嘈杂环境下的语音转写精度问题。在构建过程中，研究者面临多重困难：首先，原始AMI语料库中不同麦克风阵列的通道差异与背景噪声干扰，使得IHM通道的音频质量参差不齐，需进行严格的前端信号清洗与同步校准；其次，说话人身份的标注依赖人工逐段核对，耗时且易出错，尤其当多人同时发言时，边界界定模糊导致标注一致性难以保证；此外，转录文本与音频时间戳的精准对齐面临口误、非词汇填充音（如“嗯”“啊”）等口语化现象的挑战，这些细节对模型学习说话人切换模式与语义连贯性构成显著障碍。

常用场景

经典使用场景

在对话语音处理领域，diarizers-community/ami_ihm_with_transcripts 数据集凭借其精细的说话人标注与转录文本对齐特性，成为说话人日志（Speaker Diarization）与自动语音识别（ASR）联合建模的经典基准。研究者常利用该数据集的独立头部麦克风（IHM）录音，结合时间戳、说话人身份与逐句转录，开展端到端的说话人分割与聚类任务，验证模型在多人会议场景下区分不同说话人并识别其话语内容的能力。其多模态对齐特性也为语音-文本跨模态表征学习提供了理想实验平台。

实际应用

在实际应用中，该数据集驱动的技术被广泛部署于智能会议系统、远程协作平台的语音分析模块中，实现会议记录的自动生成与说话人归因。企业级产品利用其训练的模型，能够从多路麦克风录音中分离不同参与者的发言，生成带说话人标签的会议摘要，大幅提升办公效率。此外，在法庭审讯记录、电话客服质检等场景中，该数据集衍生的说话人日志系统有效降低了人工转录与身份核验的成本。

衍生相关工作

围绕该数据集，学术界涌现了一系列里程碑式工作。例如，基于Transformer的说话人日志框架（如EEND-EDA）利用其标注数据实现了端到端的说话人变化检测；联合语音识别与说话人日志的流水线模型（如SA-ASR）以此验证了多任务学习在会议场景的优越性。同时，该数据集也催生了对比学习与自监督预训练方法在说话人表征提取中的应用，如SimCLR风格的说话人嵌入训练策略，显著提升了低资源场景下的日志精度。