ZAEBUC-Spoken

我们介绍了ZAEBUC-Spoken，一个多语言多方言的阿拉伯语-英语语音语料库。该语料库包含12小时的Zoom会议录音，涉及多个角色扮演工作场景的学生，他们在某个主题上进行头脑风暴，并与对话者进行讨论。会议涵盖不同主题，并分为不同语言设置的阶段。该语料库为自动语音识别（ASR）提供了一个具有挑战性的集合，包括两种语言（阿拉伯语和英语），阿拉伯语以多种变体（现代标准阿拉伯语、海湾阿拉伯语和埃及阿拉伯语）和英语使用各种口音。此外，语料库中还存在这些语言和方言之间的代码转换。作为我们工作的一部分，我们从已建立的转录指南中汲取灵感，提出了一套处理会话语音、代码转换和两种语言正字法问题的指南。我们进一步丰富了语料库，增加了两层注释；(1) 语料库中混合不同阿拉伯语变体部分的方言水平注释，(2) 自动形态学注释，包括分词、词形还原和词性标注。We introduce ZAEBUC-Spoken, a multilingual and multi-dialectal Arabic-English speech corpus. This corpus contains 12 hours of Zoom meeting recordings, involving students in multiple role-playing workplace scenarios who brainstorm on specific topics and hold discussions with their conversational partners. The meetings cover diverse themes and are divided into stages with different language settings. This corpus serves as a challenging benchmark for automatic speech recognition (ASR), covering two languages: Arabic and English. Arabic appears in multiple varieties, including Modern Standard Arabic, Gulf Arabic, and Egyptian Arabic, while English is used with various accents. Furthermore, code-switching between these languages and dialects is present in the corpus. As part of this work, we draw inspiration from established transcription guidelines and propose a set of guidelines to address issues in conversational speech, code-switching, and orthography for both languages. We further enrich the corpus by adding two layers of annotations: (1) dialect-level annotations for segments mixing different Arabic varieties within the corpus, and (2) automatic morphological annotations including word segmentation, lemmatization, and part-of-speech tagging.

搜集汇总

数据集介绍

构建方式

ZAEBUC-Spoken语料库的构建源于对双语和多方言口语交际现象的深入探究。研究团队通过Zoom平台组织多场模拟工作场景的会议，每场会议包含四阶段：任务介绍（英语主导）、学生自由讨论（允许任意语言混合）、向阿拉伯语或英语母语者汇报观点（触发语码转换）、以及会议收尾。共计15场会议，涵盖14场正式录制与1场试点，参与者包括16名阿联酋学生、8名对话者及1名主持人，录音总时长约12小时。语料随后由三位双语标注员进行人工转写，并经过两轮交叉校对以确保质量。

使用方法

ZAEBUC-Spoken语料库以公开形式发布，旨在支持多领域自然语言处理研究。用户可直接下载音频与转写文本，用于语音识别系统的训练与评估，尤其适合测试模型在语码转换、方言混合及非流利口语场景下的鲁棒性。同时，语料库附带的方言度标注和形态学标注，为研究阿拉伯语方言识别、语码转换建模及形态句法分析提供了宝贵资源。语料还按Kaldi格式整理，便于直接接入标准语音处理流程。研究者亦可利用其多说话人、多阶段会议结构，探索说话人角色识别、对话结构分析乃至会议摘要生成等任务。

背景与挑战

背景概述

ZAEBUC-Spoken语料库诞生于2024年，由纽约大学阿布扎比分校、斯图加特大学、蒂宾根大学、阿联酋大学及扎耶德大学的研究团队联合构建，核心研究人员包括Injy Hamed、Fadhl Eryani、David Palfreyman和Nizar Habash。该语料库聚焦于多语言多方言环境下的阿拉伯语-英语双语口语交互，旨在填补代码切换和方言混合领域的数据空白。通过模拟工作场景的Zoom会议，语料库收录了现代标准阿拉伯语、海湾阿拉伯语、埃及阿拉伯语及带不同口音的英语，并涵盖两种语言间的代码切换现象。作为ZAEBUC项目的延伸，该语料库为自动语音识别、形态学标注及方言度分析提供了宝贵资源，对推动低资源语言技术和双语研究具有重要影响力。

当前挑战

该语料库面临的核心挑战包括：其一，领域问题层面，需解决多方言阿拉伯语与英语混合语音的自动识别难题，尤其是代码切换和方言间界限模糊导致的歧义性；其二，构建过程中，转录准则需统一处理非标准正字法（如CODA规则在口语中的首次应用）、会话性语音中的重复与修正，以及跨脚本的形态学代码切换标注；此外，方言度标注需人工区分MSA与方言的细微差异，且自动形态标注因口语中断和重复而准确性受限；最后，多语种多口音环境下的声学模型训练也面临数据稀疏和泛化能力不足的挑战。

常用场景

经典使用场景

ZAEBUC-Spoken语料库在自动语音识别（ASR）领域具有经典的应用价值，其核心场景聚焦于多语言、多方言及语码转换的复杂语音环境。该语料库收录了约12小时的Zoom会议录音，涵盖现代标准阿拉伯语、海湾阿拉伯语、埃及阿拉伯语以及带有多种口音的英语，并包含阿拉伯语与英语之间、阿拉伯语变体之间的密集语码转换。研究者可借此训练和评估ASR系统在自发对话、重叠语音、不流利现象以及方言混用等挑战性条件下的识别性能，尤其适用于探究双语或多方言社区中真实交流的语音建模难题。

解决学术问题

该数据集解决了阿拉伯语-英语双语环境下语音资源匮乏的学术瓶颈，特别是针对方言多样性、语码转换及口语化特征的系统性建模问题。通过提供精细的转写指南、方言等级标注与自动形态分析，ZAEBUC-Spoken助力学者深入分析语码转换的统计规律（如代码混合指数与切换点分数），并揭示了不同方言与语言在词性分布上的差异。其意义在于弥补了现有语料库在Zoom会议场景、多方言共现及跨语言语码转换方面的空白，为自然语言处理中的低资源语言技术、方言识别及跨语言迁移学习研究奠定了数据基础，推动了对双言现象与双语认知机制的量化理解。

实际应用

在实际应用层面，ZAEBUC-Spoken可赋能多语种语音助手、会议自动转录与摘要系统，以及教育场景中的双语口语评估工具。例如，在阿联酋等多元文化职场环境中，该语料库能帮助开发更鲁棒的语音接口，以处理员工在正式会议中混合使用现代标准阿拉伯语、方言与英语的交流模式。此外，其语码转换标注可直接服务于智能客服系统，提升对用户自然语码切换行为的理解。基于Zoom会议的采集方式也使其适用于远程协作平台的实时语音分析，优化跨语言团队沟通的效率与准确性。

数据集最近研究

最新研究方向

ZAEBUC-Spoken语料库的发布标志着多语言多方言语音研究迈入新阶段，其核心前沿方向聚焦于复杂语码转换场景下的自动语音识别（ASR）与自然语言处理（NLP）挑战。该语料库通过模拟多角色Zoom会议，系统收录了阿拉伯语（现代标准阿拉伯语、海湾阿拉伯语、埃及阿拉伯语）与英语之间的自然混合语音，并首次为阿拉伯语变体间的语码转换提供了精细的方言层级标注。这一资源直接回应了低资源语言与方言在语音技术中的瓶颈问题，尤其为研究双语者自发会话中的形态句法交替、跨语言借词及韵律特征提供了高保真数据。在当前全球多语种AI系统对鲁棒性需求激增的背景下，ZAEBUC-Spoken有望推动ASR模型在非规范口语、口音变异及语码混合场景下的泛化能力突破，同时为对话系统、会议摘要及社会语言学研究开辟新路径。

相关研究论文

• ZAEBUC-Spoken: A Multilingual Multidialectal Arabic-English Speech Corpus

  · 2024年