Masioki/SLUE-processed

---
language:
- en
dataset_info:
config_name: hvb
features:
- name: utt_index
dtype: int32
- name: channel
dtype: int32
- name: role
dtype: string
- name: start_ms
dtype: int32
- name: duration_ms
dtype: int32
- name: intent
dtype: string
- name: dialog_acts
sequence: string
- name: distilbert-uncased-embeddings
sequence:
sequence: float32
- name: Phi-3-mini-embeddings
sequence:
sequence: float32
- name: log_pitch_pov
sequence: float32
- name: log_pitch_der
sequence: float32
- name: log_total_e
sequence: float32
- name: log_total_e_lower_bands
sequence: float32
- name: log_total_e_upper_bands
sequence: float32
- name: audio
dtype:
audio:
sampling_rate: 16000
- name: text
dtype: string
- name: speaker
dtype: string
- name: conversation
dtype: string
splits:
- name: train
num_bytes: 2413918025.28
num_examples: 11344
- name: validation
num_bytes: 348479898.3
num_examples: 1690
- name: test
num_bytes: 1277200426.27
num_examples: 6121
- name: asr_train
num_bytes: 2560385950.28
num_examples: 11344
- name: asr_validation
num_bytes: 373336758.3
num_examples: 1690
- name: asr_test
num_bytes: 1343115200.27
num_examples: 6121
download_size: 8721365503
dataset_size: 8316436258.700001
configs:
- config_name: hvb
data_files:
- split: train
path: hvb/train-*
- split: validation
path: hvb/validation-*
- split: test
path: hvb/test-*
- split: asr_train
path: hvb/asr_train-*
- split: asr_validation
path: hvb/asr_validation-*
- split: asr_test
path: hvb/asr_test-*
---

语言：
- 英语
数据集信息：
配置名称：hvb
特征：
- 字段名：utt_index（话语索引），数据类型：int32
- 字段名：channel（通道），数据类型：int32
- 字段名：role（角色），数据类型：字符串
- 字段名：start_ms（起始毫秒数），数据类型：int32
- 字段名：duration_ms（持续毫秒数），数据类型：int32
- 字段名：intent（意图），数据类型：字符串
- 字段名：dialog_acts（对话行为），数据类型：字符串序列
- 字段名：distilbert-uncased-embeddings（DistilBERT-uncased 嵌入），数据类型：float32类型的双层嵌套序列
- 字段名：Phi-3-mini-embeddings（Phi-3-mini 嵌入），数据类型：float32类型的双层嵌套序列
- 字段名：log_pitch_pov，数据类型：float32类型的序列
- 字段名：log_pitch_der，数据类型：float32类型的序列
- 字段名：log_total_e（对数总能量），数据类型：float32类型的序列
- 字段名：log_total_e_lower_bands（对数总能量低频带），数据类型：float32类型的序列
- 字段名：log_total_e_upper_bands（对数总能量高频带），数据类型：float32类型的序列
- 字段名：audio（音频），数据类型：音频格式，采样率为16000赫兹
- 字段名：text（文本），数据类型：字符串
- 字段名：speaker（说话人），数据类型：字符串
- 字段名：conversation（对话），数据类型：字符串
拆分集：
- 拆分集名称：train，总字节数：2413918025.28，样本数量：11344
- 拆分集名称：validation，总字节数：348479898.3，样本数量：1690
- 拆分集名称：test，总字节数：1277200426.27，样本数量：6121
- 拆分集名称：asr_train，总字节数：2560385950.28，样本数量：11344
- 拆分集名称：asr_validation，总字节数：373336758.3，样本数量：1690
- 拆分集名称：asr_test，总字节数：1343115200.27，样本数量：6121
下载大小：8721365503 字节
数据集总大小：8316436258.700001 字节
配置项：
- 配置名称：hvb
数据文件：
- 拆分集：train，文件路径：hvb/train-*
- 拆分集：validation，文件路径：hvb/validation-*
- 拆分集：test，文件路径：hvb/test-*
- 拆分集：asr_train，文件路径：hvb/asr_train-*
- 拆分集：asr_validation，文件路径：hvb/asr_validation-*
- 拆分集：asr_test，文件路径：hvb/asr_test-*

原始信息汇总

数据集概述

数据集配置

• 配置名称: hvb

数据集特征

• utt_index: 整数型 (int32)
• channel: 整数型 (int32)
• role: 字符串型 (string)
• start_ms: 整数型 (int32)
• duration_ms: 整数型 (int32)
• intent: 字符串型 (string)
• dialog_acts: 字符串序列
• distilbert-uncased-embeddings: 浮点数序列 (float32)
• Phi-3-mini-embeddings: 浮点数序列 (float32)
• log_pitch_pov: 浮点数序列 (float32)
• log_pitch_der: 浮点数序列 (float32)
• log_total_e: 浮点数序列 (float32)
• log_total_e_lower_bands: 浮点数序列 (float32)
• log_total_e_upper_bands: 浮点数序列 (float32)
• audio: 音频数据，采样率为16000
• text: 字符串型 (string)
• speaker: 字符串型 (string)
• conversation: 字符串型 (string)

数据集分割

• train: 11344个样本，大小为2413918025.28字节
• validation: 1690个样本，大小为348479898.3字节
• test: 6121个样本，大小为1277200426.27字节
• asr_train: 11344个样本，大小为2560385950.28字节
• asr_validation: 1690个样本，大小为373336758.3字节
• asr_test: 6121个样本，大小为1343115200.27字节

数据集大小

• 下载大小: 8721365503字节
• 数据集大小: 8316436258.700001字节

数据文件路径

• train: hvb/train-*
• validation: hvb/validation-*
• test: hvb/test-*
• asr_train: hvb/asr_train-*
• asr_validation: hvb/asr_validation-*
• asr_test: hvb/asr_test-*

搜集汇总

数据集介绍

构建方式

在语音语言理解领域，高质量的多模态数据集是推动模型性能提升的关键基石。Masioki/SLUE-processed数据集基于SLUE基准精心构建，专注于英文对话语音的深层语义解析。其构建过程首先从原始会话录音中提取音频片段，并配备16kHz采样率的音频文件及对应文本转录。数据集为每条话语标注了说话人角色（role）、意图（intent）和对话行为（dialog_acts），同时融入了预训练模型的嵌入表示，包括DistilBERT和Phi-3-mini的稠密向量，以及丰富的声学特征如对数基频及其导数、对数能量等。数据划分为训练、验证和测试集，并额外提供ASR专用子集，确保语音识别与理解任务的独立评估。

特点

该数据集的核心特色在于其多维度的信息融合与精细化标注。它不仅包含传统的音频-文本对，还集成了深层的语义嵌入和声学参数，为研究语音中的韵律、情感与对话结构提供了丰富线索。每个样本涵盖从微观的语轮索引（utt_index）到宏观的对话上下文（conversation），支持从语音识别到对话行为分类的多种任务。数据规模适中，训练集含11344个样本，验证集1690个，测试集6121个，平衡了数据多样性与计算效率。此外，ASR子集的独立设计允许研究者分别优化语音识别与语义理解模块，避免了任务间的混淆影响。

使用方法

使用Masioki/SLUE-processed数据集时，可通过HuggingFace Datasets库便捷加载。指定配置名'hvb'后，利用load_dataset函数即可按需获取splits，如'train'、'validation'、'test'或'asr_train'等子集。每个样本以字典形式呈现，包含音频路径、文本、说话人信息及预提取的嵌入向量。对于语音识别任务，可直接使用'audio'字段及对应'text'；对于意图或对话行为分类，可借助'distilbert-uncased-embeddings'或'Phi-3-mini-embeddings'作为输入特征。声学特征如'log_pitch_pov'等则适用于韵律分析或情感识别研究。

背景与挑战

背景概述

在口语理解（Spoken Language Understanding, SLU）领域，构建能够同时处理语音信号与语义信息的模型一直是核心挑战。Masioki/SLUE-processed数据集由相关研究团队于近年创建，旨在推动端到端口语理解系统的发展。该数据集聚焦于对话场景中的意图识别与对话行为分类，提供了包含音频、文本、说话人角色及多种预训练嵌入（如DistilBERT和Phi-3-mini）在内的丰富多模态特征。其核心研究问题在于如何高效整合语音与语言特征以提升理解精度，对SLU领域具有重要影响力，为语音驱动的对话系统研究提供了标准化基准。

当前挑战

该数据集面临的挑战主要来自两个方面。首先，在领域问题层面，口语理解需应对语音信号的噪声、口音差异及非流畅性，同时精准捕捉对话中的意图与行为，这要求模型具备跨模态对齐与鲁棒泛化能力。其次，在构建过程中，数据集的注释需协调语音时间戳（如start_ms和duration_ms）与语义标签（如intent和dialog_acts）的对应关系，确保多源嵌入（如声学特征log_pitch_pov与文本嵌入）的一致性。此外，大规模音频数据的处理与存储（如总下载量超8.7GB）也对计算资源与数据平衡提出了严峻考验。

常用场景

经典使用场景

在口语理解与对话系统研究领域，Masioki/SLUE-processed数据集凭借其丰富的多模态特征，成为探索语音与文本联合建模的经典平台。该数据集不仅包含高保真16kHz音频与对应转录文本，还提供了意图标签、对话行为序列以及预训练嵌入（如DistilBERT和Phi-3-mini），使得研究者能够在统一的框架下进行端到端口语理解任务。其经典的用法在于利用语音韵律特征（如对数基频及其导数）与语义嵌入的交互，构建能够捕捉对话中细微语调和语境变化的模型，从而提升对用户意图与对话行为的识别精度。这种多维度特征的整合，为从原始语音信号到高层语义理解的平滑过渡提供了坚实的数据基础。

实际应用

在实际应用中，Masioki/SLUE-processed数据集为智能语音助手、客服对话系统以及辅助沟通工具的开发提供了核心支撑。其多模态特征使企业能够训练出更精准的意图识别模型，例如在车载语音系统中，利用韵律特征区分紧急指令与普通查询，从而提升响应安全性。在医疗领域，该数据集的韵律与嵌入信息可用于分析患者语音中的情绪状态，辅助心理健康评估。此外，其标准化的ASR分片设计，降低了语音识别系统在特定领域（如电话客服）的部署门槛，使得实时对话分析成为可能，进而优化用户交互体验并降低运营成本。

衍生相关工作

基于SLUE-processed数据集，学术界涌现了一系列经典工作，推动了口语理解技术的边界。例如，研究者提出了融合语音韵律与文本注意力的跨模态Transformer架构，显著提升了对话行为识别的F1分数。另有工作利用该数据集的预训练嵌入，开发了轻量级知识蒸馏方法，使得模型能够在边缘设备上高效运行。在情感计算方向，学者通过分析对数基频变化与意图标签的关联，构建了语音情感图谱，为多模态情感识别提供了新范式。这些衍生工作不仅验证了数据集在基准测试中的价值，更启发了后续如语音-语言联合预训练模型的研究，形成了从数据到理论的良性循环。