CourtSI和CourtSI-Bench

CourtSI包含100万以上的问答对，建立在覆盖空间计数的全面空间分类学上，包括：(i) 空间计数 (ii) 距离测量 (iii) 定位 (iv) 关系推理。CourtSI-Bench是一个高质量的基准测试，包含3,686个人工验证的问答对。CourtSI contains over 1 million question-answer pairs, which is built upon a comprehensive spatial taxonomy covering four core tasks: (i) spatial counting, (ii) distance measurement, (iii) localization, and (iv) relational reasoning. CourtSI-Bench is a high-quality benchmark dataset comprising 3,686 manually verified question-answer pairs.

原始信息汇总

CourtSI 数据集概述

数据集基本信息

• 数据集名称: CourtSI
• 核心目标: 首个专注于体育场景中空间智能的大规模数据集与基准测试。
• 发布状态: 已发布。
• 相关论文: Stepping VLMs onto the Court: Benchmarking Spatial Intelligence in Sports

数据集构成与内容

1. 主数据集：CourtSI

• 数据规模: 包含超过100万个问答对。
• 构建基础: 基于一个全面的空间分类法。
• 覆盖的空间能力范畴:
  • 空间计数
  • 距离测量
  • 定位
  • 关系推理

2. 基准测试集：CourtSI-Bench

• 数据规模: 包含3,686个人工验证的高质量问答对。
• 用途: 用于评估视觉语言模型。
• 评估范围: 已用于评估25个最先进的专有和开源视觉语言模型。

3. 扩展基准测试集：CourtSI-Ext

• 性质: CourtSI-Bench的扩展版本。
• 侧重点: 专注于跨体育项目的泛化能力。

模型与工具

微调模型

• 模型名称: CourtSI-Qwen3-VL-8B
• 基础模型: Qwen3-VL-8B
• 微调数据: 使用CourtSI数据集进行微调。
• 性能提升: 在CourtSI-Bench基准测试上实现了+23.5%的绝对性能提升。

数据生成引擎

• 名称: 半自动数据引擎
• 技术原理: 利用球场几何进行半自动体育场景重建。
• 功能: 支持大规模生成具有空间基础的问答对。
• 开源状态: 未开源。

获取与使用

• 数据集获取地址: https://huggingface.co/datasets/Charlie019/CourtSI-1M
• 基准测试集获取地址: https://huggingface.co/datasets/Charlie019/CourtSI-Bench
• 扩展基准测试集获取地址: https://huggingface.co/datasets/Charlie019/CourtSI-Ext
• 微调模型获取地址: https://huggingface.co/Charlie019/CourtSI-Qwen3-VL-8B
• 使用文档: 位于代码仓库的 protocol 文件夹内。
• 项目网站: https://visionary-laboratory.github.io/CourtSI

引用信息

如果使用本数据集，请引用相关论文： bibtex @misc{yang2026CourtSI, title={Stepping VLMs onto the Court: Benchmarking Spatial Intelligence in Sports}, author={Yuchen Yang and Yuqing Shao and Duxiu Huang and Linfeng Dong and Yifei Liu and Suixin Tang and Xiang Zhou and Yuanyuan Gao and Wei Wang and Yue Zhou and Xue Yang and Yanfeng Wang and Xiao Sun and Zhihang Zhong}, year={2026}, eprint={2603.09896}, archivePrefix={arXiv}, primaryClass={cs.CV}, url={https://arxiv.org/abs/2603.09896}, }

搜集汇总

数据集介绍

构建方式

在体育视觉语言模型的研究领域，CourtSI数据集的构建体现了对空间智能的系统性探索。该数据集通过一个半自动化的数据引擎，利用球场几何结构进行体育场景的重建，从而大规模生成具有空间基础的问答对。这一过程涵盖了空间计数、距离测量、定位以及关系推理等多个维度的空间分类，最终形成了超过一百万对的高质量问答数据。

特点

CourtSI数据集的核心特点在于其首次针对体育场景中的空间智能进行了大规模、系统性的标注。数据集不仅构建了全面的空间分类体系，还衍生出CourtSI-Bench这一经过人工验证的高质量基准，包含三千余对问答，专门用于评估前沿视觉语言模型的性能。此外，数据集还提供了扩展版本CourtSI-Ext，专注于跨体育项目的泛化能力研究，为模型的鲁棒性测试提供了丰富资源。

使用方法

对于研究人员而言，CourtSI数据集的使用方法主要围绕模型评估与性能提升展开。用户可以通过Hugging Face平台直接访问数据集与基准测试，按照协议文件夹中的详细文档进行操作。该数据集支持对现有视觉语言模型进行空间智能的基准测试，同时也为模型微调提供了数据支持，例如基于CourtSI微调的Qwen3-VL-8B模型在基准测试上取得了显著的性能提升。

背景与挑战

背景概述

随着视觉语言模型在通用场景理解上取得显著进展，其在需要复杂空间推理的专业领域，如体育分析中的应用仍面临挑战。CourtSI与CourtSI-Bench数据集由Visionary Laboratory等机构的研究团队于2026年创建，旨在系统评估和提升视觉语言模型在体育场景中的空间智能。该数据集围绕空间计数、距离测量、定位及关系推理四大核心维度构建，填补了大规模、细粒度体育空间理解数据资源的空白，为推进具身智能与专业领域视觉理解提供了关键基准。

当前挑战

该数据集致力于解决体育视频分析中空间智能的评估与提升问题，其核心挑战在于如何精准定义并量化模型对动态、多目标体育场景的空间理解能力，例如在快速移动的球员与复杂场地几何中实现可靠的关系推理。在构建过程中，研究团队需克服大规模高质量数据标注的困难，通过半自动数据引擎结合球场几何进行场景重建，以生成海量且空间 grounded 的问答对，同时确保CourtSI-Bench基准中数千条样本的人工验证质量，以支撑可靠的模型评估与跨运动泛化研究。

常用场景

经典使用场景

在计算机视觉与人工智能领域，CourtSI数据集为评估视觉语言模型在体育场景中的空间智能提供了标准化测试平台。其经典使用场景集中于对模型进行系统性基准评估，研究者利用CourtSI-Bench中高质量的人工验证问答对，量化模型在空间计数、距离测量、定位及关系推理等任务上的性能表现，从而揭示模型在复杂动态环境中的理解能力与局限性。

实际应用

在实际应用层面，CourtSI数据集能够赋能智能体育分析与沉浸式交互系统。例如，在职业体育训练中，基于该数据集训练的模型可自动解析比赛录像，实时识别运动员位置、计算移动距离并推断战术布局，为教练团队提供数据驱动的决策支持。同时，该技术也可扩展至虚拟现实训练模拟器或交互式体育解说平台，提升用户体验与操作效率。

衍生相关工作

围绕CourtSI数据集，已衍生出一系列经典研究工作。其中，基于该数据集微调的Qwen3-VL-8B模型在基准测试中取得了显著性能提升，展示了数据驱动优化策略的有效性。此外，扩展版本CourtSI-Ext聚焦于跨运动项目的泛化能力评估，促进了领域自适应与迁移学习方法的探索。这些工作共同构成了体育视觉推理领域的重要技术脉络。