NoXi+J

NoXi+J数据集是由奥格斯堡大学创建的多语言双人互动语料库，旨在研究亚洲和欧洲非语言文化特征及其对参与度的影响。该数据集包含来自法国、德国、英国、日本和中国的双人对话录音，总共有150个会话，涵盖多种非语言特征，如语音声学、面部表情、回声和手势。数据集的创建过程包括使用Microsoft Kinect 2设备进行全高清视频流和环境噪音捕捉，以及动态头戴式麦克风进行低噪音语音录制。NoXi+J数据集的应用领域主要集中在跨文化非语言交流和参与度预测，旨在解决文化差异对对话动态和情感状态的影响问题。The NoXi+J Dataset is a multilingual dyadic interaction corpus developed by the University of Augsburg, which aims to investigate nonverbal cultural characteristics from Asian and European regions and their effects on conversational engagement. This corpus contains 150 dyadic dialogue sessions recorded from participants in France, Germany, the United Kingdom, Japan and China, covering a wide range of nonverbal features including speech acoustics, facial expressions, vocal echoes and gestures. The development of the dataset involved capturing full high-definition video streams and ambient noise via Microsoft Kinect 2 devices, as well as acquiring low-noise speech recordings using dynamic head-mounted microphones. The primary application domains of the NoXi+J Dataset center on cross-cultural nonverbal communication research and engagement prediction, with the objective of addressing the influence of cultural disparities on dialogue dynamics and emotional states.

搜集汇总

数据集介绍

构建方式

NoXi+J数据集是在原有NoXi数据集的基础上，通过收集日语和中文的双语对话数据而扩展形成的。该数据集包含了来自法国、德国、英国、日本和中国的参与者之间的对话记录，通过多种模式识别技术和算法提取了多模态的非言语特征，包括语音声学、面部表情、背渠道和手势。数据集的构建采用了屏幕中介录音的方式，确保了面对面对话的录制，同时减少了多角度摄像头的需求。参与者包括专家和新手两种角色，专家谈论自己熟悉的话题，新手则聆听并与专家讨论。数据集还包括了参与者的年龄、性别、文化身份、语言熟练度和社会关系等级等信息，以及基于大五人格模型的自评人格描述。所有参与者均在录音前提供了知情同意书。

特点

NoXi+J数据集的特点在于其多语言和跨文化的性质，以及包含的丰富多模态非言语特征。数据集涵盖了五种主要语言（德语、英语、法语、日语和中文），提供了对这些语言中非言语行为和文化差异的深入分析。数据集中包含了对话的详细内容、参与者的语言熟练度、社会关系等级等信息，以及基于大五人格模型的自评人格描述。此外，数据集还包括了参与者对自身人格的评估，以及基于Saucier的Mini-Markers形容词集的人格描述。这些特征使得NoXi+J数据集成为研究跨文化非言语行为和文化差异对参与度影响的重要资源。

使用方法

使用NoXi+J数据集时，首先需要对数据进行预处理，包括对语音、视频和身体运动数据的提取和标注。然后，可以使用各种机器学习模型和模式识别技术对数据进行统计分析，以识别文化依赖和独立特征，以及多语言中的共同特征。数据集可以用于训练和评估参与度预测模型，例如使用LSTM模型对参与度进行预测。此外，数据集还可以用于研究不同文化背景下的非言语行为和文化差异对参与度的影响。在使用数据集时，需要注意数据的文化背景和语言差异，以及可能存在的标注偏差。

背景与挑战

背景概述

非言语行为是理解对话动态和由互动引起的对话者之间情感状态的关键挑战。尽管心理学研究已经证明非言语行为在不同文化之间有所差异，但有限的计算分析已经进行了，以阐明这些差异并评估它们对参与度识别的影响。为了更好地理解参与度和非言语行为在不同文化和语言领域中的差异，本研究进行了一项多语言计算分析，研究非言语特征及其在参与度和参与度预测中的作用。为了实现这一目标，我们首先扩展了NoXi数据集，该数据集包含居住在法国、德国和英国的参与者的互动数据，通过收集日语和中文的对话数据，得到了增强的数据集NoXi+J。接下来，我们通过各种模式识别技术和算法提取了多模态非言语特征，包括语音声学、面部表情、回声和手势。然后，我们对倾听行为和回声模式进行了统计分析，以识别每种语言中的文化依赖性和独立性特征，以及多种语言中的共同特征。这些特征还与对话者显示的参与度相关联。最后，我们分析了文化差异对LSTM模型输入特征的影响，这些模型被训练用于预测五种语言数据集的参与度。SHAP分析与迁移学习相结合，证实了语言集输入特征的重要性与所分析的文化特征之间存在着相当大的相关性。

当前挑战

NoXi+J数据集面临的挑战包括：1)所解决的领域问题：理解非言语行为在不同文化中的差异及其对参与度识别的影响；2)构建过程中所遇到的挑战：收集和记录多语言对话数据，提取和分析多模态非言语特征，以及开发能够准确预测参与度的机器学习模型。此外，由于文化和语言的多样性，数据集的构建和模型训练面临着跨文化和跨语言的挑战，需要考虑文化敏感性，并开发能够处理不同文化背景下非言语行为的模型。

常用场景

经典使用场景

NoXi+J数据集主要用于研究跨文化非言语行为的特点及其对参与度的影响。通过收集和分析来自不同语言和文化背景的对话数据，研究者能够识别文化依赖和文化独立的非言语特征，并探究这些特征与参与度之间的相关性。这一数据集的经典使用场景包括对非言语交流模式的分析，以及参与度预测模型的开发和评估。

实际应用

NoXi+J数据集的实际应用场景包括开发文化敏感的参与度预测模型，这些模型可以用于改善人机交互体验，尤其是在跨文化环境中。例如，虚拟代理或聊天机器人可以利用这些模型来更好地理解和响应用户的非言语行为，从而提高用户满意度和参与度。此外，该数据集还可以用于教育和培训，帮助人们更好地理解和适应不同文化背景下的非言语交流模式。

衍生相关工作

NoXi+J数据集衍生了多项相关工作，包括跨文化非言语行为分析、参与度预测模型的研究以及文化敏感的交互系统开发。例如，研究者可以利用该数据集来开发新的机器学习模型，以更准确地预测不同文化背景下的参与度。此外，该数据集还可以用于比较和分析不同文化背景下的非言语行为差异，从而促进跨文化理解和交流。