epfl-neuroai/multimodal-brain-scaling

该数据集名为Multimodal Brain Scaling，是一个用于研究视觉皮层任务和数据优化模型的多模态缩放规律的大规模基准数据集。它基于ICML 2026论文《Multimodal Scaling Laws for Task & Data-Optimized Models of Visual Cortex》发布，旨在统一评估模型与大脑对齐性能。数据集涵盖8个神经数据集，包括猕猴电生理学以及人类的功能磁共振成像（fMRI）、脑电图（EEG）和脑磁图（MEG）数据，并评估了超过600个视觉模型。通过三个缩放轴（预训练资源、神经微调以及从特征到神经响应的映射），数据集揭示了预训练饱和、互补神经微调和映射缩放等趋势。数据以Parquet文件格式存储，包含预训练结果、层搜索结果、微调结果和映射结果等表，并附带元数据如数据集维度、模型信息和噪声天花板。该数据集可用于神经科学、神经AI和计算机视觉研究，帮助优化大脑对齐模型的数据、计算和监督策略。The dataset, named Multimodal Brain Scaling, is a large-scale benchmark for studying multimodal scaling laws in task- and data-optimized models of the visual cortex. It is released in conjunction with the ICML 2026 paper Multimodal Scaling Laws for Task & Data-Optimized Models of Visual Cortex, providing a unified framework to evaluate model-to-brain alignment. It spans 8 neural datasets, including macaque electrophysiology and human fMRI, EEG, and MEG recordings, and evaluates over 600 vision models under a consistent pipeline. The dataset explores three scaling axes: pretraining resources, neural fine-tuning, and the mapping from features to neural responses, revealing trends such as pretraining saturation, complementary neural fine-tuning, and mapping scaling. Data is stored in Parquet files, containing result tables for pretraining, layer search, finetuning, and mapping, along with metadata like dataset dimensions, model information, and noise ceilings. It supports neuroscience, neuroAI, and computer vision research, offering practical guidance for building brain-aligned models.

搜集汇总

数据集介绍

构建方式

该数据集源自一项发表于ICML 2026的综合性研究，旨在系统性地探究多模态缩放定律在视觉皮层模型优化中的表现。研究团队整合了来自8个神经科学数据集（涵盖猕猴电生理记录、人类fMRI、EEG及MEG）的响应数据，并基于统一的评估管线对超过600个视觉模型进行了大规模基准测试。数据集以Parquet格式存储四大类结果表格：预训练阶段模型-大脑对齐结果、全层搜索结果、神经微调及LoRA结果，以及映射数据缩放与读出比较结果。此外，还附带了详细的元数据文件，包括数据集维度、模型家族、架构、训练计算量等关键信息，为复现与深入分析提供了坚实基础。

特点

该数据集的核心特点在于其跨模态、跨物种的统一性与规模化。它首次将猕猴电生理与人类多种神经影像模态（fMRI、EEG、MEG）纳入同一分析框架，覆盖了从微观单神经元到宏观脑网络的多层次神经表征。数据集的构建遵循三大缩放轴——预训练资源、神经微调以及特征-响应映射，并揭示了预训练饱和、混合任务-神经目标微调的互补增益、以及映射数据对数线性缩放等稳健规律。特别值得一提的是，数据集中引入了一种轻量级、跨被试共享的交叉注意力读出机制，以远少于传统方法的参数量达到了甚至超越线性解码器的对齐性能。

使用方法

用户可通过Hugging Face的`datasets`库便捷地加载该数据集。例如，使用`load_dataset("epfl-neuroai/multimodal-brain-scaling", "pretraining", split="results")`即可获得预训练阶段的模型-大脑对齐结果及其元数据。数据集支持四种配置的访问：`pretraining`、`layer_search`、`finetuning`和`mapping`，分别对应不同的分析场景。加载后的数据可直接转换为Pandas DataFrame进行后续分析与可视化。此外，通过执行`python -m mbs.download_artifacts`命令，可以恢复研究分析代码所依赖的本地CSV文件，便于完整复现论文中的实验与分析流程。

背景与挑战

背景概述

近年来，任务优化的深度神经网络已成为模拟感觉皮层的最前沿计算模型，然而，不同研究在数据集、模态和评估协议上的碎片化，阻碍了对驱动脑对齐能力核心因素的系统性理解。为填补这一空白，瑞士洛桑联邦理工学院（EPFL）神经人工智能实验室的研究人员Abdulkadir Gokce、Yingtian Tang与Martin Schrimpf于2026年在ICML上发布了Multimodal Brain Scaling数据集。该数据集整合了8个神经科学数据集（涵盖猕猴电生理记录及人类fMRI、EEG、MEG），并提供了超过600个视觉模型在统一评估管道下的脑对齐基准。通过系统考察预训练资源、神经微调与特征映射三个维度的缩放规律，该工作揭示了预训练饱和、神经微调互补性以及映射数据规模的对数线性增益等关键趋势，为构建更优的脑对齐模型提供了实证指导，对计算神经科学与神经人工智能交叉领域产生了深远影响。

当前挑战

该数据集所解决的领域核心挑战在于，过往研究碎片化使得判断何种建模选择能真正提升脑对齐表现变得极其困难。传统方法依赖单一模态或小型实验，难以揭示跨模态、跨物种的一致性规律。本数据集通过统一的大规模基准，首次系统量化了预训练资源缩放带来的对齐饱和现象，并提出了混合任务与神经目标的微调策略以克服纯任务预训练的局限。在构建过程中，面临的主要挑战包括：整合来源各异的神经数据格式并保证预处理一致性，设计轻量级且跨被试泛化能力强的交叉注意力读出模型以替代参数庞大的逐被试线性解码器，以及在高计算成本下维持超过600个模型的可重复评估流程。这些工作共同推动了脑对齐模型的标准化测评与可扩展方法论的发展。

常用场景

经典使用场景

该数据集为计算神经科学与人工智能交叉领域的研究者提供了一个统一、大规模的基准平台，用于评估视觉皮层模型的脑对齐程度。其经典使用场景是，在包含猕猴电生理记录以及人类功能磁共振成像、脑电图、脑磁图等八种神经数据集上，对超过六百个视觉模型进行标准化的脑对齐性能评测。研究者可借助该数据集系统性地比较不同模型在预测神经响应方面的表现，从而探索预训练计算量、数据规模、神经微调策略以及特征到神经响应映射函数等关键因素如何影响模型与大脑视觉皮层的契合度。

实际应用

在实际应用中，该数据集为开发下一代脑对齐模型提供了具体的资源分配指南。神经科学家和人工智能工程师可以根据数据集揭示的规律，合理规划计算资源与神经数据的获取成本——例如，在映射函数构建阶段，优先积累配对刺激-响应数据往往比无限制增加预训练计算量更能实现成本效益最优的脑对齐提升。该数据集提出的轻量级、跨被试共享的交叉注意力读取器，能够以少一个数量级的参数匹配甚至超越个体线性解码器的性能，为高效构建神经解码系统和脑机接口等应用场景提供了实用技术路径。

衍生相关工作

该数据集的发布催生了一系列衍生研究工作。其统一的评测管线激励了后续探索多模态预训练策略对脑对齐影响的系统性工作，研究者借鉴其三条缩放规律的结论，进一步在更大规模的模型家族和更多样化的神经数据集上验证并扩展了相关假说。数据集提供的标准流程促使多个实验室开发出兼容的评估工具包，帮助快速筛选新型架构与训练目标。此外，其揭示的映射函数缩放规律直接启发了针对神经解码效率优化的新研究，推动了面向低数据量场景的脑对齐模型设计方法的发展。