albertmartinez/OSDG

OSDG社区数据集（OSDG-CD）是一个用于文本分类任务的数据集，包含多个配置版本，每个版本都有训练集和测试集。数据特征包括文本和标签，标签对应联合国可持续发展目标（SDGs）的16个类别。数据集的大小、下载大小、示例数量等信息也详细列出。

The OSDG Community Dataset (OSDG-CD) is a dataset for text classification tasks, containing multiple configuration versions, each with a training set and a test set. The data features include text and labels, with labels corresponding to the 16 categories of the United Nations Sustainable Development Goals (SDGs). The dataset size, download size, number of examples, and other information are also detailed.

原始信息汇总

OSDG Community Dataset (OSDG-CD) 概述

数据集基本信息

• 许可证: MIT
• 任务类别: 文本分类
• 数据集版本: 多个版本，包括 2021-09-30, 2022-01-01, 2022-04-01, 2022-07-01, 2023-04-01, 2023-07-01, 2023-10-01, 2024-01-01 和 21-09-30

数据集特征

• 特征:
  • text: 数据类型为字符串
  • labels: 数据类型为分类标签，包含以下类别：
    • sdg1, sdg2, sdg3, sdg4, sdg5, sdg6, sdg7, sdg8, sdg9, sdg10, sdg11, sdg12, sdg13, sdg14, sdg15, sdg16

数据集分割

• 训练集 和 测试集 的详细信息如下：

版本	训练集字节数	训练集示例数	测试集字节数	测试集示例数	下载大小	数据集大小
2021-09-30	13585523	22484	5846952	9636	11747290	19432475
2022-01-01	13647767	22551	5843697	9666	11789200	19491464
2022-04-01	13670249	22628	5891776	9699	11817202	19562025
2022-07-01	13730108	22701	5893778	9730	11853594	19623886
2023-04-01	18649432	29182	7985978	12507	16132200	26635410
2023-07-01	18779769	29445	8074396	12620	16268745	26854165
2023-10-01	18888491	29648	8140119	12707	16375556	27028610
2024-01-01	19029441	29844	8161474	12791	16469769	27190915
21-09-30	13704368	22628	5857657	9699	11816358	19562025

数据集配置

• 数据文件路径: 每个版本的数据集文件路径格式为 <版本>/train-* 和 <版本>/test-*
• 默认配置: 2024-01-01 版本为默认配置

标签信息

• 标签名称: sdg1 到 sdg16，共16个类别

数据集标签

• 标签: SDG

搜集汇总

数据集介绍

构建方式

OSDG社区数据集（OSDG-CD）是面向联合国可持续发展目标（SDGs）文本分类任务而构建的高质量标注资源。其构建过程依托众包协作机制，通过社区志愿者对大量文本片段进行逐条标注，将文本内容映射至17个SDG类别之一。数据集以季度为时间节点持续迭代更新，从2021年9月至2024年4月间共发布九个版本，每个版本均划分出训练集与测试集，且训练样本规模从初版的22,484条逐步扩展至最新版的34,420条，体现了动态扩充与持续优化的设计理念。

特点

该数据集最显著的特点在于其精细的类别体系与时间维度的演进性。文本标签严格对应全部17项SDG目标，覆盖从消除贫困到和平正义的广泛议题，为细粒度多分类研究提供了完备的基准。版本序列化设计使得研究者能够追踪不同时期标注数据的分布变化，支持模型在时间漂移场景下的鲁棒性评估。此外，每个版本均保持训练与测试集分离的结构，便于进行可重复的实验验证。

使用方法

在HuggingFace平台上，用户可通过指定config_name参数加载特定版本的数据集，例如选择'2024-04-01'作为默认配置。数据加载后，每条样本包含'text'字段（原始文本）与'labels'字段（SDG类别标签，以整数索引表示）。适合直接用于训练文本多分类模型，或作为预训练语言模型在下游任务中的微调数据。建议研究者根据任务需求选取合适的版本，并利用提供的训练/测试划分进行模型评估与比较。

背景与挑战

背景概述

OSDG Community Dataset（OSDG-CD）是由OSDG社区于2021年首次发布并持续更新的文本分类数据集，旨在推动联合国可持续发展目标（SDGs）相关文本的自动识别与分类研究。该数据集由多个版本构成，时间跨度从2021年9月至2024年4月，每个版本均包含训练集与测试集，样本规模逐步增长至数万条，覆盖了从消除贫困（SDG1）到和平与正义（SDG16）的16个目标类别。其核心研究问题在于如何利用标注文本训练机器学习模型，以高效、准确地从海量政策文件、新闻报道及学术文献中识别与特定SDG相关的信息。OSDG-CD的发布为可持续发展领域的自然语言处理研究提供了标准化的基准资源，显著推动了文本分类技术在政策评估、社会监测及跨国比较等场景中的应用，成为该领域影响力广泛的基础数据集之一。

当前挑战

OSDG-CD所面临的挑战主要体现在两个层面。首先，在领域问题层面，可持续发展目标涵盖经济、社会、环境等多维度议题，文本内容高度异构且语义复杂，单个文本往往同时涉及多个SDG，导致多标签分类的边界模糊问题尤为突出。其次，在数据集构建过程中，标注一致性是核心难点：不同标注者对SDG内涵的理解差异可能引入噪声，且随着数据集版本迭代，新增样本的标注标准需与历史版本保持对齐。此外，文本来源的多样性（如政策文件与社交媒体的语言风格迥异）对模型的泛化能力构成严峻考验，而类别分布的不均衡（如部分SDG样本稀缺）进一步加剧了分类模型的偏差风险。

常用场景

经典使用场景

在可持续发展目标（SDGs）研究的浪潮中，OSDG社区数据集以其精细的文本-标签映射结构，成为多标签文本分类任务的标杆性资源。该数据集将非结构化文本精准归类至16项SDG类别，广泛应用于科研论文、政策文件及新闻报道的自动化标注，为跨学科可持续发展研究提供了标准化的语义桥梁。

解决学术问题

该数据集直面学术领域长期存在的SDG分类主观性强、一致性低之困境，通过众包与专家校验相结合的标注范式，构建了高信度、可复现的基准语料库。其多版本迭代设计（覆盖2021至2024年）助力时间序列下的分类模型鲁棒性评估，显著推动了自然语言处理技术在可持续发展监测中的方法论革新。

衍生相关工作

该数据集催生了多项开创性研究，包括基于预训练语言模型的SDG零样本分类框架、融合知识图谱的细粒度标签推理系统，以及面向低资源语言的跨域迁移学习范式。这些工作不仅验证了OSDG-CD在学术基准中的核心地位，更拓展了其在高维语义理解与社会计算交叉领域的应用边界。