CineBrain

CineBrain是一个大规模的多模态脑数据集，由复旦大学创建。该数据集包含了6位参与者在观看自然istic音频视觉叙事材料时同步记录的fMRI和EEG信号。数据集由《生活大爆炸》电视剧的叙事驱动内容组成，总计约6小时的音频视觉材料。CineBrain旨在促进故事解码和多模态神经解码的研究，提供了丰富的数据，适合各种下游任务，并已公开以便研究之用。CineBrain is a large-scale multimodal brain dataset developed by Fudan University. This dataset contains simultaneously recorded fMRI and EEG signals from six participants while they viewed naturalistic audio-visual narrative stimuli. The dataset is composed of narrative-driven content from the TV series *The Big Bang Theory*, totaling approximately six hours of audio-visual material. CineBrain aims to facilitate research on story decoding and multimodal neural decoding, providing abundant data applicable to various downstream tasks, and it has been made publicly available for academic research purposes.

搜集汇总

数据集介绍

构建方式

CineBrain 数据集的构建方式独特且精细。研究人员选择了六位参与者，并让他们观看了六个小时的电视剧《生活大爆炸》中的叙事驱动的音频视频内容。在观看过程中，使用 3T MRI 扫描仪记录了参与者的 EEG 和 fMRI 信号。为了确保数据的同步性和准确性，实验中使用了定制的非磁性耳机和 EEG 帽。此外，还收集了 1000 Hz 64 通道 EEG 和心电图数据，总共记录了 2160 分钟的数据。这些数据为研究复杂的大脑动力学和多模态神经解码提供了丰富的资源。

特点

CineBrain 数据集具有以下特点：首先，它是一个大规模的多模态脑数据集，包含了同步的 EEG 和 fMRI 记录。其次，它提供了约六个小时的叙事驱动的音频视频内容，这些内容来自流行的电视剧《生活大爆炸》。此外，CineBrain 数据集还包含了丰富的文本描述，用于支持多模态解码实验。这些特点使得 CineBrain 数据集成为研究故事解码和多模态神经解码的理想选择。

使用方法

CineBrain 数据集的使用方法多样。研究人员可以将其用于研究复杂的大脑动力学和多模态神经解码。此外，CineBrain 数据集还可以用于训练和评估多模态解码模型，如 CineSync。为了促进严格评估，研究人员还提出了 Cine-Benchmark，这是一个全面的评估协议，用于评估视频和音频重建的质量。通过使用 CineBrain 数据集和 Cine-Benchmark，研究人员可以更好地理解大脑如何处理音频视频刺激，并为多模态神经解码领域的发展做出贡献。

背景与挑战

背景概述

CineBrain数据集是一个大规模的多模态脑部数据集，由复旦大学的研究人员创建，旨在探索自然音频视觉叙事处理过程中大脑的活动。该数据集于2025年首次被提出，包含6名参与者观看《生活大爆炸》电视剧约6小时的音频视觉内容的同时记录的脑部活动数据。CineBrain数据集的独特之处在于它提供了同步的脑电图（EEG）和功能性磁共振成像（fMRI）记录，这两种技术各有优势，EEG具有高时间分辨率，而fMRI具有深部脑组织的高空间覆盖能力。CineBrain数据集为研究复杂的大脑动力学和多种神经解码提供了重要的资源，并对神经科学和计算机视觉领域产生了深远的影响。

当前挑战

CineBrain数据集的挑战主要来自于其多模态特性的利用和数据的同步处理。首先，如何有效地融合EEG和fMRI信号，以充分利用EEG的高时间分辨率和fMRI的深部脑组织空间覆盖能力，是一个重要的挑战。其次，构建过程中需要确保数据同步的精确性，这对于后续的神经解码至关重要。此外，CineBrain数据集也面临着如何处理和解释复杂的脑部活动模式，以及如何开发新的解码框架来提高重建质量的挑战。最后，CineBrain数据集还面临着如何促进跨学科研究，以及如何将研究成果转化为实际应用的问题。

常用场景

经典使用场景

CineBrain数据集在神经解码领域具有开创性的意义，它为研究人员提供了首个包含同步EEG和fMRI记录的大型数据集，用于动态视听刺激下的脑活动解码。CineBrain数据集包含了约六小时的叙事驱动内容，来自流行电视剧《生活大爆炸》，为每个参与者提供了丰富的视听刺激。这使得CineBrain成为研究复杂脑动力学和多模态神经解码的理想工具。

解决学术问题

CineBrain数据集解决了传统神经解码研究中存在的信息丢失问题。以往的研究通常仅使用单一的fMRI或EEG信号进行刺激解码，这导致在解码连续神经响应时，信息丢失严重。CineBrain数据集通过同时记录fMRI和EEG信号，有效地融合了两种模态的优势，提高了解码质量，为神经解码研究提供了新的方向。

衍生相关工作

CineBrain数据集的发布推动了多模态脑解码研究的发展。基于CineBrain数据集，研究人员提出了CineSync这一创新的多模态解码框架，该框架融合了fMRI和EEG信号，显著提高了重建质量。此外，CineBrain数据集还衍生了Cine-Benchmark这一全面的评估协议，用于评估视频和音频重建的质量。这些工作为多模态脑解码研究提供了新的思路和方法，推动了该领域的进一步发展。