NINA Dataset

NINA数据集是一个包含车内及车外（如电动车警报声）声音的集合，用于研究目的。数据集中的声音通过行车记录仪或智能手机麦克风录制，由于录制环境不受控制，因此没有车辆速度或具体录音设备型号及麦克风细节。The NINA dataset is a collection of sounds both inside and outside vehicles (such as electric vehicle alarm sounds), intended for research purposes. The sounds in the dataset were recorded using dashboard cameras or smartphone microphones. Due to the uncontrolled recording environment, there is no information on vehicle speed or specific recording device models and microphone details.

原始信息汇总

数据集概述

数据集名称

Naturalistic IN-vehicle Audio Dataset (NINA)

数据集内容

NINA数据集包含车内及车外（如电动车警报声）产生的声音。这些声音主要通过行车记录仪或智能手机麦克风录制，环境不受控制，因此不包含车辆速度、录音设备型号或麦克风细节。

数据集分类

类别	片段数量	总时长（秒）
Crash	751	865
Driving	295	1086
Tire skidding	186	208
Horn	261	314
Harsh acceleration	22	63
Talking	265	653
Screaming	157	113
Music	198	821
Pothole	144	138
Meteo (strong rain/hail)	94	3613
Police siren	39	288
Ambulance siren	159	1253
Firetruck siren	76	822

数据集文件

• datasetCreation.sh: 主脚本文件
• youtube_IDs.csv: YouTube视频列表
• labels: 包含txt文件的文件夹，每个文件包含注释[开始时间] [结束时间] [类别]

数据集使用

通过运行脚本bash datasetCreation.sh ./labels/ ./output，可以创建一个包含每个类别子文件夹的输出文件夹，其中包含wav文件。

贡献/扩展

贡献者可以通过添加新的YouTube视频ID和相关标题到youtube_IDs.csv文件，并使用Audacity或其他工具进行音频注释，来扩展数据集。

搜集汇总

数据集介绍

构建方式

NINA数据集通过非控制环境下的车载录音设备，如行车记录仪和智能手机麦克风，采集车内外的自然声音。数据集的构建过程包括从YouTube视频中提取音频片段，并通过脚本自动化处理，生成按类别分类的音频文件。每个音频片段均经过人工标注，确保数据的准确性和可用性。

特点

NINA数据集涵盖了多种车内外的声音类别，包括碰撞、驾驶、轮胎打滑、喇叭声、急加速、对话、尖叫、音乐、坑洞、恶劣天气（如暴雨或冰雹）以及不同类型的警笛声。数据集的特点在于其多样性和真实性，所有声音均来自实际驾驶场景，能够为车载音频识别研究提供丰富的实验数据。

使用方法

使用NINA数据集时，用户可通过提供的脚本自动化生成数据集，脚本支持从YouTube视频中提取音频并按类别分类存储。用户还可以通过Audacity等工具对音频进行标注，并将标注文件保存为指定格式。此外，数据集支持Wavenet音频生成和TensorFlow Lite模型转换，便于在移动设备上进行推理测试。

背景与挑战

背景概述

NINA数据集是一个专注于车内及车外（如紧急车辆警报声）自然声音的集合，旨在为相关研究提供支持。该数据集由多个来源的声音记录组成，包括行车记录仪和智能手机麦克风，涵盖了多种声音类别，如碰撞声、驾驶声、轮胎打滑声等。由于录音环境未受控制，数据集未包含车速或具体录音设备型号等详细信息。NINA数据集的创建反映了对智能交通系统和车内环境监控技术日益增长的研究需求，特别是在声音事件检测和分类领域。

当前挑战

NINA数据集面临的挑战主要集中在两个方面。首先，数据集的非控制环境录音条件引入了背景噪声和变异性，这对声音事件的准确检测和分类提出了更高要求。其次，数据集的构建过程中，由于依赖公开的YouTube视频资源，数据的质量和一致性难以保证，且标注过程需要大量人工干预，增加了数据集构建的复杂性和成本。这些挑战不仅影响了数据集的可用性，也对相关算法的鲁棒性和泛化能力提出了严峻考验。

常用场景

经典使用场景

NINA数据集主要用于车内和车外环境下的声音识别与分析研究。该数据集涵盖了多种车内外的声音类别，如碰撞声、轮胎打滑声、喇叭声等，为研究者提供了一个丰富的自然声音样本库。通过分析这些声音，研究者可以开发出更精确的声音识别算法，用于智能驾驶辅助系统或车内环境监控。

实际应用

在实际应用中，NINA数据集被广泛用于开发智能驾驶辅助系统，如碰撞预警、紧急车辆警报识别等。通过分析数据集中的声音特征，系统能够实时检测并响应潜在的危险情况，提升驾驶安全性。此外，该数据集还可用于车内语音识别系统的优化，改善语音助手在嘈杂环境中的表现。

衍生相关工作

基于NINA数据集，研究者们开发了多种声音识别模型和算法，如基于深度学习的碰撞声检测模型和紧急车辆警报识别系统。这些工作不仅提升了声音识别的准确性和鲁棒性，还为智能交通系统的进一步发展提供了技术支持。此外，该数据集还促进了声音生成技术的研究，如基于WaveNet的音频生成模型，进一步扩展了其应用范围。