solaris-training-dataset

该数据集是通过SolarisEngine收集的，用于训练Minecraft的Solaris多人世界模型。数据集包含两个玩家的12.64百万帧，录制帧率为20 FPS，观察（视频）尺寸为1280×720。动作空间详细列出了玩家的各种操作，包括移动（前进、后退、左移、右移）、跳跃、冲刺、潜行、相机方向变化（偏航、俯仰）、攻击、使用/交互、骑乘/下车、放置方块/实体、挖掘方块以及选择快捷栏物品等。每种操作都有明确的类型（持续型或单次型）和功能描述。This dataset is collected via SolarisEngine for training the Solaris multiplayer world model for Minecraft. It contains 12.64 million frames captured from two players, recorded at 20 FPS, with the observation (video) resolution set to 1280×720. The action space details a full range of player operations, including movement (forward, backward, left strafing, right strafing), jumping, sprinting, sneaking, camera orientation changes (yaw, pitch), attacking, using/interacting, mounting/dismounting, placing blocks or entities, digging blocks, and selecting hotbar items. Each operation comes with a clear type (continuous or single-shot) and functional description.

搜集汇总

数据集介绍

构建方式

在游戏人工智能领域，高质量的行为数据对于训练能够理解复杂交互的世界模型至关重要。solaris-training-dataset的构建依托于SolarisEngine这一专用数据采集工具，通过记录两名玩家在《我的世界》多人模式下的实时游戏过程而生成。数据以每秒20帧的速率捕获，共计约1264万帧，每帧包含分辨率为1280×720的视觉观察画面，并同步记录了涵盖移动、视角控制、物品交互等维度的结构化动作指令，从而构建了一个时序对齐、规模宏大的多模态交互轨迹库。

特点

该数据集的核心特征在于其精细的动作空间定义与大规模的双智能体交互轨迹。动作空间被系统地划分为持续型与瞬时型两类，前者如移动与视角调整，后者如攻击与物品放置，共计24个维度，精准映射了游戏内的核心操作。数据集囊括了超过1200万帧的高清视觉观察，为模型提供了丰富的环境上下文。其独特的双玩家记录结构，使得它特别适合于研究与训练需要理解合作、竞争或社交动态的多智能体强化学习与生成式世界模型。

使用方法

该数据集旨在为Solaris多人世界模型的训练提供核心支持。使用者可依据项目仓库提供的指引下载数据，其标准化的帧序列与动作标签格式便于直接输入到基于深度学习的序列模型中进行训练，例如用于行为克隆、逆强化学习或视频预测任务。研究人员可利用其双玩家互动特性，探索多智能体协调、长期任务规划以及从人类演示中学习复杂策略等前沿课题，为构建更通用、更智能的游戏AI奠定数据基础。

背景与挑战

背景概述

solaris-training-dataset 是一个专为训练 Minecraft 多玩家世界模型而构建的大规模数据集，由 Solaris 项目团队通过 SolarisEngine 工具收集。该数据集旨在支持强化学习与多智能体协作研究，聚焦于复杂开放世界环境中的智能体行为建模与预测。其核心研究问题涉及如何从高维视觉观察与多样化动作序列中学习可泛化的世界动态表示，以推动具身智能在虚拟环境中的进展。数据集的发布为游戏人工智能领域提供了宝贵的多模态交互资源，促进了基于 Minecraft 平台的仿真学习与决策智能研究。

当前挑战

该数据集致力于解决多智能体在开放世界环境中的协同决策与长期规划挑战，其核心问题在于如何从高维视觉输入与离散-连续混合动作空间中学习鲁棒的世界模型。构建过程中的挑战包括：确保双玩家交互数据的同步性与一致性，处理高达1280×720分辨率、20 FPS的大规模视频帧序列所带来的存储与计算负担，以及精确标注多样化且具有时序依赖性的玩家动作（如持续型移动与瞬时型交互动作）。此外，在 Minecraft 动态生成的环境中维持数据采集的多样性与覆盖度，避免行为偏差，亦是构建过程中的关键难点。

常用场景

经典使用场景

在强化学习与多智能体协作领域，solaris-training-dataset为训练Minecraft环境下的世界模型提供了关键支持。该数据集通过记录两名玩家的高帧率交互视频与精细动作序列，经典应用于训练能够预测游戏状态动态演变的生成模型。研究人员利用其丰富的时空数据，构建出能够模拟复杂物理交互与玩家决策过程的神经网络，为探索开放式虚拟环境中的智能体行为奠定了数据基础。

实际应用

在实际应用层面，solaris-training-dataset为游戏人工智能与虚拟助手开发提供了重要资源。基于该数据集训练的世界模型能够赋能非玩家角色展现出更拟人的交互行为，提升开放世界游戏的沉浸感。同时，这类技术可迁移至机器人仿真训练，通过在高度可配置的虚拟环境中预训练决策模型，降低实体机器人在复杂任务中的试错成本，加速智能体在现实场景中的部署进程。

衍生相关工作

围绕该数据集衍生的经典工作主要集中在多智能体世界建模与分层强化学习方向。例如，Solaris项目本身利用该数据集训练了能够预测多人交互动态的生成模型，为后续研究提供了开源基准。相关研究进一步探索了基于Transformer的序列建模架构在该数据集上的应用，以及如何从玩家轨迹中提取技能先验知识，这些工作共同推动了数据驱动型游戏智能与通用决策智能体的发展脉络。