version-control/ds-lib-version-1

---
dataset_info:
features:
- name: repo_name
dtype: string
- name: version
list:
- name: pyproject.toml
struct:
- name: matplotlib
dtype: string
- name: numpy
dtype: string
- name: pandas
dtype: string
- name: scikit-learn
dtype: string
- name: scipy
dtype: string
- name: tensorflow
dtype: string
- name: torch
dtype: string
- name: requirements.txt
struct:
- name: matplotlib
dtype: string
- name: numpy
dtype: string
- name: pandas
dtype: string
- name: scikit-learn
dtype: string
- name: scipy
dtype: string
- name: tensorflow
dtype: string
- name: torch
dtype: string
- name: setup.py
struct:
- name: matplotlib
dtype: string
- name: numpy
dtype: string
- name: pandas
dtype: string
- name: scikit-learn
dtype: string
- name: scipy
dtype: string
- name: tensorflow
dtype: string
- name: torch
dtype: string
- name: hexsha
sequence: string
splits:
- name: train
num_bytes: 2528384
num_examples: 10000
download_size: 831815
dataset_size: 2528384
configs:
- config_name: default
data_files:
- split: train
path: data/train-*
---

数据集信息：
特征：
- 特征字段名：repo_name，数据类型为字符串
- 特征字段名：version，为列表结构，包含三个子项：
1. pyproject.toml：结构体类型，包含matplotlib、numpy、pandas、scikit-learn、scipy、tensorflow、torch七个Python库的版本信息，各字段数据类型均为字符串
2. requirements.txt：结构体类型，包含上述七个Python库的版本信息，各字段数据类型均为字符串
3. setup.py：结构体类型，包含上述七个Python库的版本信息，各字段数据类型均为字符串
- 特征字段名：hexsha，为字符串序列
数据集划分：
- 划分名称：train（训练集），占用字节数为2528384，样本总量为10000
下载大小：831815字节
数据集总大小：2528384字节
配置项：
- 配置名称：default（默认配置），数据文件：
- 对应划分：train（训练集），文件路径为data/train-*

原始信息汇总

数据集信息

特征

• repo_name: 类型为字符串。
• version: 包含以下列表项：
  • pyproject.toml: 包含以下结构：
    • matplotlib: 类型为字符串。
    • numpy: 类型为字符串。
    • pandas: 类型为字符串。
    • scikit-learn: 类型为字符串。
    • scipy: 类型为字符串。
    • tensorflow: 类型为字符串。
    • torch: 类型为字符串。
  • requirements.txt: 包含以下结构：
    • matplotlib: 类型为字符串。
    • numpy: 类型为字符串。
    • pandas: 类型为字符串。
    • scikit-learn: 类型为字符串。
    • scipy: 类型为字符串。
    • tensorflow: 类型为字符串。
    • torch: 类型为字符串。
  • setup.py: 包含以下结构：
    • matplotlib: 类型为字符串。
    • numpy: 类型为字符串。
    • pandas: 类型为字符串。
    • scikit-learn: 类型为字符串。
    • scipy: 类型为字符串。
    • tensorflow: 类型为字符串。
    • torch: 类型为字符串。
• hexsha: 类型为字符串序列。

数据分割

• train: 包含 10000 个样本，占用 2528384 字节。

数据集大小

• 下载大小: 831815 字节。
• 数据集大小: 2528384 字节。

配置

• default: 包含以下数据文件：
  • train: 路径为 data/train-*。

搜集汇总

数据集介绍

构建方式

在软件工程与机器学习交叉领域，依赖库版本管理是保障模型可复现性的核心要素。version-control/ds-lib-version-1数据集通过系统化采集开源仓库中的配置元数据构建而成，每条记录包含仓库名称、关键Python库在pyproject.toml、requirements.txt及setup.py三类文件中的版本声明，并关联对应的提交哈希值。该数据集从海量代码仓库中提取10000条训练样本，以结构化方式存储了NumPy、Pandas、Scikit-learn等七种主流数据科学库的版本依赖关系，形成了版本控制与依赖管理的标准化语料库。

特点

该数据集最显著的特性在于其多维度的版本信息覆盖能力。通过同时收录pyproject.toml、requirements.txt和setup.py三种主流依赖声明文件中的版本约束，数据反映了实际开发中版本管理的复杂生态。每条样本不仅记录单一时间点的依赖快照，更通过hexsha字段串联版本变更历史，支持时序分析。七种核心库的版本字段均为字符串类型，便于精确匹配与范围查询，为研究依赖冲突检测、版本兼容性分析及库演化规律挖掘提供了细粒度数据支撑。

使用方法

研究者可直接通过HuggingFace Datasets库加载该数据集，采用默认配置即可获取包含10000条样本的训练集。在具体应用中，可将repo_name作为索引键，version字段中的嵌套结构用于构建依赖关系图，hexsha序列则支持版本演化轨迹追踪。典型使用场景包括训练依赖版本预测模型、分析库版本间的共生模式，或构建基于版本约束的代码兼容性分类器。数据集以Parquet格式存储，支持高效的列式访问与分布式处理，适合集成到机器学习流水线中。

背景与挑战

背景概述

在软件工程与数据科学交叉领域，依赖管理是确保项目可复现性与稳定性的核心议题。version-control/ds-lib-version-1数据集由版本控制研究团队于近期创建，旨在系统性地捕获开源数据科学项目中关键库（如numpy、pandas、tensorflow等）的版本演化轨迹。该数据集通过解析pyproject.toml、requirements.txt及setup.py等配置文件，从超过一万个开源仓库中提取了版本依赖信息，为研究依赖冲突、版本漂移及库间兼容性提供了前所未有的结构化资源。其影响力在于填补了从静态代码分析到动态版本依赖图谱构建之间的数据鸿沟，推动了对软件生态系统中依赖关系演化的量化理解。

当前挑战

该数据集面临的核心挑战集中于领域问题与构建过程两个层面。在领域问题上，数据科学项目依赖版本信息的稀疏性与异构性使得依赖解析异常困难——同一库在不同配置文件中可能声明不同版本范围，且缺乏统一语义约束。构建过程中，从海量仓库中准确提取并归一化版本号面临格式多样性（如语义化版本、日期版本、通配符约束）与噪声干扰（如注释文本、错误声明）的双重考验。此外，跨仓库的版本关联分析需处理缺失依赖声明与循环依赖等复杂情形，而数据集的静态快照特性又难以捕捉依赖关系随时间动态演化的全貌，这些挑战共同制约着基于该数据集的依赖风险预测与兼容性推理任务的可靠性。

常用场景

经典使用场景

在软件工程与机器学习交叉领域，ds-lib-version-1数据集为版本依赖关系分析提供了高质量的结构化资源。该数据集收录了来自开源仓库的依赖配置信息，涵盖pyproject.toml、requirements.txt和setup.py等关键文件，并将numpy、pandas、torch等主流科学计算与深度学习库的版本号进行系统化提取。研究者可借此深入剖析不同项目间依赖项的版本演化规律，或构建预测模型以推断软件生态中版本兼容性模式，为理解开源软件供应链的动态变迁奠定数据基础。

解决学术问题

该数据集有效回应了软件版本管理与依赖冲突检测领域的核心学术挑战。传统研究常受限于手工收集版本信息的低效与片面，而ds-lib-version-1通过大规模结构化抽取，使得量化分析版本漂移趋势、版本锁定策略以及跨库依赖网络成为可能。其意义在于赋能学者从实证角度揭示版本演化的潜在风险，例如识别高频冲突的依赖对或评估版本更新对下游项目的冲击，从而推动更鲁棒的版本协调理论与工具的发展。

衍生相关工作

该数据集推动了多项经典工作的衍生，例如基于图神经网络的依赖关系推理模型，利用版本序列预测库间兼容性；又如版本演化聚类分析，揭示不同开源社区在依赖管理上的行为差异。此外，有工作将ds-lib-version-1与代码变更日志结合，构建版本更新影响传播的量化框架，为软件维护决策提供数据驱动的指导。这些研究共同拓展了软件工程与数据科学交叉领域的知识边界。