sarvamai/contextual_asr_benchmark

该数据集是一个**合成上下文自动语音识别（ASR）**基准，旨在评估和改进语音机器人在语音识别系统中的性能，特别关注**上下文感知转录**，即ASR模型可以利用对话历史和代理提示来更好地转录用户响应。数据集覆盖了**10种主要印度语言**，为测试真实世界对话场景中的语音AI能力提供了多样化的语言环境。

### 支持的语言
数据集包含以下10种主要印度语言的样本：
1. **印地语** (hi)
2. **孟加拉语** (bn)
3. **马拉地语** (mr)
4. **泰卢固语** (te)
5. **泰米尔语** (ta)
6. **古吉拉特语** (gu)
7. **卡纳达语** (kn)
8. **马拉雅拉姆语** (ml)
9. **奥里亚语** (or)
10. **旁遮普语** (pa)

### 数据集结构
#### 数据实例
每个数据实例代表语音机器人交互中的一个回合。`context`字段提供了必要的背景信息（机器人角色、历史和即时问题），以帮助模型从`audio`中预测`text`（转录）。

#### 数据字段
* **`audio`**: 用户语音响应的音频文件或数据。
* **`text`**: 用户语音响应的真实转录文本。
* **`language`**: 音频的语言。
* **`context`**: 包含输入场景信息的文本字符串，包括：
* **机器人描述:** 机器人的角色（例如“银行助手”）。
* **之前的对话历史:** 对话中的先前回合。
* **机器人提出的问题:** 引发用户响应的具体查询。

### 使用案例
该数据集专门设计用于：
* **上下文偏置:** 训练ASR模型基于`context`提高预期词（例如数字、日期、实体）的概率。
* **意图识别:** 评估转录在嘈杂场景中是否正确捕捉用户意图。
* **对话状态跟踪:** 测试端到端口语理解（SLU）系统。

### 数据集创建
* **来源:** 合成生成。
* **方法:** 模拟语音机器人场景以覆盖多个领域（银行、电子商务、医疗保健）。用户响应被合成或录制以匹配`context`中的特定提示。

This dataset is a **Synthetic Contextual Automatic Speech Recognition (ASR)** benchmark designed to evaluate and improve speech recognition systems in voice bot scenarios. It focuses on **context-aware transcription**, where the ASR model can leverage conversation history and agent prompts to better transcribe user responses.

The dataset covers the **top 10 Indian languages**, providing a diverse linguistic landscape for testing voice AI capabilities in real-world conversational settings.

### Supported Languages
The dataset includes samples for the following 10 major Indian languages:
1. **Hindi** (hi)
2. **Bengali** (bn)
3. **Marathi** (mr)
4. **Telugu** (te)
5. **Tamil** (ta)
6. **Gujarati** (gu)
7. **Kannada** (kn)
8. **Malayalam** (ml)
9. **Odia** (or)
10. **Punjabi** (pa)

### Dataset Structure
#### Data Instances
Each data instance represents a single turn in a voice bot interaction. The `context` field provides the necessary background (bot persona, history, and the immediate question) to help the model predict the `text` (transcription) from the `audio`.

#### Data Fields
* **`audio`**: The audio file or data of the users spoken response.
* **`text`**: The ground truth transcription of the users spoken response.
* **`language`**: The language of the audio.
* **`context`**: A text string containing the input scenario information, comprising:
* **Bot Description:** The persona of the bot (e.g., "Banking Assistant").
* **Previous Conversation History:** Previous turns in the dialogue.
* **Question asked by the bot:** The specific query prompting the users response.

### Use Cases
This dataset is specifically designed for:
* **Contextual Biasing:** Training ASR models to boost probabilities for expected words (e.g., numbers, dates, entities) based on the `context`.
* **Intent Recognition:** Evaluating if the transcription captures the users intent correctly in noisy scenarios.
* **Dialog State Tracking:** Testing end-to-end spoken language understanding (SLU) systems.

### Dataset Creation
* **Source:** Synthetic generation.
* **Methodology:** Voice bot scenarios were simulated to cover various domains (Banking, E-commerce, Healthcare). User responses were synthesized or recorded to match the specific prompt found in the `context`.

搜集汇总

数据集介绍

构建方式

在语音交互系统日益普及的背景下，为提升自动语音识别模型在对话场景中的上下文感知能力，SarvamAI团队构建了该合成上下文语音识别基准数据集。该数据集基于合成生成方法，模拟了银行、电商、医疗等多个领域的语音机器人交互场景。每个数据实例对应一次用户与机器人之间的单轮对话，通过人工合成或录制用户对特定提示的语音响应，并配以包含机器人角色描述、历史对话记录及当前提问的上下文文本，从而构建出结构化的训练与评估样本。

特点

该数据集覆盖了印度十大主流语言，包括印地语、孟加拉语、马拉地语、泰卢固语、泰米尔语、古吉拉特语、卡纳达语、马拉雅拉姆语、奥里亚语和旁遮普语，展现了丰富的语言多样性。每个样本均包含语言标签、音频文件、真实转录文本以及详细的上下文信息，其中上下文字段融合了机器人角色、对话历史和当前提问，为模型提供了全面的语义环境。数据集仅包含测试集，总计超过4000个样本，各语言子集规模均衡，便于进行跨语言性能评估。

使用方法

该数据集主要面向上下文偏置训练、意图识别及对话状态跟踪等任务。使用时，用户可通过HuggingFace Datasets库按语言配置名称（如hi-IN、bn-IN）加载对应子集。每个样本的audio字段为16kHz采样率的音频数据，context字段提供了对话背景，text字段为标注转录。研究人员可将上下文文本与音频共同输入模型，训练或评估语音识别系统在利用对话历史提升转录准确性方面的表现，也可用于端到端口语理解系统的基准测试。

背景与挑战

背景概述

在语音交互系统迅猛发展的当下，上下文感知的自动语音识别（ASR）技术成为提升对话智能体性能的关键。2025年，由SarvamAI团队构建的Synthetic Contextual ASR Benchmark（Indic）数据集应运而生，旨在解决印度多语言场景下语音助手的转录难题。该数据集覆盖印地语、孟加拉语、泰米尔语等十种主要印度语言，通过模拟银行、电商、医疗等领域的语音机器人对话场景，构建了包含对话历史、机器人角色描述及当前提问的上下文信息。其核心研究问题在于如何利用语境线索提升ASR模型对用户口语响应的识别准确性，尤其在处理数字、日期、专有名词等关键实体时。这一基准的发布为印度语种语音AI的评估提供了标准化测试平台，推动了多语言上下文偏置及对话状态追踪等方向的研究进展。

当前挑战

该数据集面临的挑战体现在多个层面。首先，在领域问题层面，印度语言的语音识别长期受限于音素丰富度、方言变体及代码混合现象，传统ASR模型在缺少语境支持时对含数字、实体名称的短句识别率低下，而本数据集所聚焦的上下文偏置技术需在嘈杂对话中精准提升预期词汇的置信度，这对模型的语境理解与泛化能力构成严峻考验。其次，在构建过程中，数据纯属合成生成，尽管覆盖十大语言，但每个语言仅包含数百条测试样本（如印地语611条、孟加拉语390条），样本量有限可能无法充分反映真实场景中的口音多样性及噪声分布。此外，上下文字段由机器人描述、历史对话和当前提问拼接而成，其格式的标准化与内容的真实感平衡亦需谨慎设计，以避免模型对合成语境的过拟合。

常用场景

经典使用场景

在语音对话系统的研究版图中，sarvamai/contextual_asr_benchmark 数据集以其独特的上下文感知设计，成为衡量自动语音识别（ASR）模型在印度十种主要语言环境下表现的核心基准。该数据集通过模拟真实语音机器人交互场景，每一条样本均包含音频、精确转录、语言标识以及丰富的上下文信息，如机器人角色描述、对话历史与当前提问。研究者可借此评估模型在复杂对话流中，如何利用上下文线索（如预期实体、数字或日期）来提升转录准确性，从而推动多语言、低资源场景下的上下文偏置技术发展。

衍生相关工作

此数据集的发布催生了多项开创性研究，尤其在上下文感知语音识别与端到端口语理解领域。经典衍生工作包括基于注意力机制的上下文偏置模型，该模型利用数据集中的上下文字段动态调整解码器概率分布；以及面向对话状态跟踪的联合建模方法，将ASR与自然语言理解融为一体。此外，该数据集启发了针对低资源印度语言的跨语言迁移学习研究，通过预训练多语言语音模型并在本数据集上微调，显著提升了在未见语言上的泛化能力。这些工作共同构建了从语音信号到语义理解的完整技术链条。

数据集最近研究

最新研究方向

在多语言语音交互场景中，如何利用对话历史与智能体提示实现上下文感知的语音识别，已成为当前自动语音识别领域的前沿焦点。sarvamai/contextual_asr_benchmark数据集应运而生，它聚焦于印度十种主要语言的语音机器人对话场景，通过合成生成的方式模拟了银行、电商、医疗等真实业务中的多轮交互。该数据集的核心创新在于将“上下文”字段显式编码为智能体人设、历史对话与当前提问的文本序列，从而为上下文偏置、意图识别及对话状态追踪等研究方向提供了标准化的评测基准。随着多语言语音助手在全球新兴市场的快速部署，这一基准不仅填补了低资源语言在上下文感知ASR评估中的空白，更推动了模型从单纯声学建模向融合语义理解与对话逻辑的复合能力演进，对提升语音交互系统的鲁棒性与智能化水平具有深远意义。