argmaxinc/whisperkit-evals

`librispeech`数据集包含5小时的短音频片段，用于测试短文本转录质量；`earnings22`数据集包含120小时的英语收益电话录音，用于测试长文本转录质量。

The `librispeech` dataset contains 5 hours of short audio clips for testing short-form transcription quality; the `earnings22` dataset contains 120 hours of English earnings call recordings for testing long-form transcription quality.

原始信息汇总

WhisperKit ASR Evaluation Results

数据集概述

数据集: librispeech

• 描述: 短音频 (<30秒/片段) - 5小时英语有声书片段
• 模型评估结果:

模型名称	WER (↓)	QoI (↑)	文件大小 (MB)	代码提交
large-v2 (WhisperOpenAIAPI)	2.35	100	3100	N/A
large-v2	2.77	96.6	3100	Link
large-v2_949MB	2.4	94.6	949	Link
large-v2_turbo	2.76	96.6	3100	Link
large-v2_turbo_955MB	2.41	94.6	955	Link
large-v3	2.04	95.2	3100	Link
large-v3_turbo	2.03	95.4	3100	Link
large-v3_turbo_954MB	2.47	93.9	954	Link
distil-large-v3	2.47	89.7	1510	Link
distil-large-v3_594MB	2.96	85.4	594	Link
distil-large-v3_turbo	2.47	89.7	1510	Link
distil-large-v3_turbo_600MB	2.78	86.2	600	Link
small.en	3.12	85.8	483	Link
small	3.45	83	483	Link
base.en	3.98	75.3	145	Link
base	4.97	67.2	145	Link
tiny.en	5.61	63.9	66	Link
tiny	7.47	52.5	66	Link

数据集: earnings22

• 描述: 长音频 (>1小时/片段) - 120小时英语财报电话录音，包含多种口音
• 模型评估结果:

模型名称	WER (↓)	QoI (↑)	文件大小 (MB)	代码提交
large-v2 (WhisperOpenAIAPI)	16.27	100	3100	N/A
large-v3	15.17	58.5	3100	Link
distil-large-v3	15.28	46.3	1510	Link
base.en	23.49	6.5	145	Link
tiny.en	28.64	5.7	66	Link

搜集汇总

数据集介绍

构建方式

WhisperKit ASR评估数据集（argmaxinc/whisperkit-evals）由Argmax公司构建，旨在为Apple Silicon设备上的语音识别框架WhisperKit提供标准化的性能与准确性评测基准。该数据集整合了多种音频样本，覆盖不同噪声环境、口音和语速，并基于CoreML量化模型进行推理测试。构建过程中，团队在真实Apple Silicon硬件上运行WhisperKit，记录词错误率和推理延迟等关键指标，形成结构化的评估结果集合。

特点

该数据集的核心特点在于聚焦于端侧语音识别的实际部署场景，特别强调量化模型在Apple Silicon上的表现。它提供了跨设备、跨模型尺寸的对比数据，包括不同量化精度对识别准确率的影响。数据集还包含了与原始Whisper模型的性能差异分析，为开发者优化本地ASR应用提供了可复现的参考基准。

使用方法

用户可通过HuggingFace数据集库加载该评估结果，结合WhisperKit框架复现基准测试。典型用法包括：使用load_dataset('argmaxinc/whisperkit-evals')获取数据，然后分析不同设备上的词错误率和推理速度。开发者也可以参照该数据集自定义测试流程，通过WhisperKit的benchmark脚本在本地设备上生成新的评估结果，并与现有数据对比验证优化效果。

背景与挑战

背景概述

WhisperKit是由Argmax Inc.团队于近期开发的一个面向Apple Silicon设备的端侧语音识别框架，其核心研究问题在于如何在资源受限的移动设备上实现高效且准确的自动语音识别（ASR）。该数据集作为WhisperKit的评估结果集合，记录了不同量化策略下的模型性能与精度基准，旨在推动轻量化语音识别模型在消费级硬件上的部署。通过整合Whisper架构与CoreML优化技术，WhisperKit为边缘计算场景下的语音交互提供了关键数据支撑，其影响力体现在对隐私保护与低延迟需求的响应，以及对Apple生态内AI应用落地的技术示范。

当前挑战

当前数据集面临的核心挑战包括：其一，端侧ASR需在保持高识别精度的同时，克服Apple Silicon设备有限的计算与存储资源约束，量化模型虽能压缩体积，却可能引入失真风险；其二，构建过程中需协调多设备异构性能差异，确保评估结果的可复现性与泛化性，而实时推理的延迟与功耗平衡亦构成设计难点；此外，数据集的规模与场景覆盖有限，难以全面反映真实环境下噪声干扰、口音变异等复杂声学条件，制约了模型鲁棒性的验证与改进。

常用场景

经典使用场景

WhisperKit评估数据集（argmaxinc/whisperkit-evals）专为在Apple Silicon设备上部署的自动语音识别（ASR）系统设计，其经典使用场景聚焦于量化Whisper模型在本地硬件上的性能与精度权衡。该数据集通过提供标准化的评估指标，如词错误率（WER）和推理延迟，使研究者能够系统比较不同量化策略（如FP16、INT8）对CoreML优化模型的影响，从而推动边缘端语音识别的高效落地。

实际应用

在实际应用中，WhisperKit评估数据集直接服务于智能语音助手、实时转录服务和辅助技术等场景。开发者可利用该数据集验证模型在iPhone、iPad及Mac设备上的实时语音转文字能力，确保在无网络环境下仍能维持低延迟与高准确率。这尤其适用于医疗记录、会议纪要及教育领域的离线语音处理需求，显著提升了隐私保护与用户体验。

衍生相关工作

基于该数据集，衍生了一系列关于边缘端ASR模型优化的重要工作，包括混合精度量化策略的探索、知识蒸馏与剪枝技术的结合，以及针对特定口音或噪声环境的微调方法。此外，该数据集还催生了WhisperKit框架内的自适应推理调度算法，可根据设备负载动态调整模型精度，为Apple Silicon生态下的高效语音处理奠定了基准参考，并促进了跨平台ASR基准测试的统一化。