MN-DS

该数据集包含了来自215个媒体来源的10,917篇新闻文章，这些文章根据一个分层的分类法进行了标注，该分类法包含17个一级类别和109个二级类别。此外，该数据集可在遵守创意共享许可协议的前提下免费下载。规模上，数据集包含了10,917篇文章，其任务是对新闻文章进行分层分类。

This dataset comprises 10,917 news articles sourced from 215 media outlets. These articles are annotated under a hierarchical taxonomy that includes 17 primary categories and 109 secondary categories. Furthermore, this dataset is freely downloadable under a Creative Commons license. With a total of 10,917 articles, the core task of this dataset is hierarchical classification of news articles.

搜集汇总

数据集介绍

构建方式

在新闻文本分类与层次化分析的研究领域中，高质量的多标签数据集是推动模型性能提升的关键基石。MN-DS数据集正是基于这一需求而构建，它源自NELA-GT-2019这一包含逾百万篇新闻文章的大型语料库，时间跨度覆盖2019年全年。构建过程中，研究者采用了IPTC的NewsCodes Media Topic分类体系作为标注标准，该体系包含17个一级类别和109个二级类别。为了确保每个子类别的数据均衡性，团队设计了一套迭代算法：从原始数据集中随机抽取文章，通过人工精读与关键词核查，将其精确映射至唯一的二级类别，直至每个子类别累计达到约100篇文章，最终汇聚成10,917篇高质量、多标签的新闻数据集。

特点

该数据集的核心特色在于其精细的层次化标注结构与内容均衡性。与许多仅提供粗粒度分类的新闻数据集不同，MN-DS通过二级类别实现了对新闻主题的精准刻画，例如在“体育”大类下细分了具体运动项目与行业动态，避免了语义重叠。此外，数据集在类别分布上进行了严格把控，每个二级类别均包含约100篇文章，有效缓解了长尾分布问题，为训练鲁棒的分类模型提供了坚实基础。其文章来源广泛，涵盖ABC News、BBC等主流媒体与Sputnik等替代性新闻源，确保了内容的多样性与风格差异，尤其适合研究非正式或边缘化文本的分类挑战。

使用方法

MN-DS数据集以CSV格式公开提供，每篇文章包含id、标题、正文、来源、日期及两级类别标签等字段，便于直接加载与分析。在应用层面，研究者可将其用于训练和评估新闻主题分类模型，尤其适合多标签与层次化分类任务。论文中展示了结合TF-IDF、GloVe及DistilBERT等嵌入表示，搭配朴素贝叶斯、逻辑回归、支持向量机及DistilBERT分类器的基准实验，为后续研究提供了可复现的基线。建议使用者采用OneVsRestClassifier策略处理多标签问题，并探索层次化分类方法以进一步提升性能。数据集代码与数据均托管于Zenodo与GitHub，遵循Creative Commons许可协议，便于学术复用与扩展。

背景与挑战

背景概述

新闻数据集作为自然语言处理与机器学习领域的重要基础资源，其质量与结构直接影响着文本分类、事件预测等任务的性能。在此背景下，MN-DS（Multilabeled News Dataset）数据集由葡萄牙卢索福纳大学COPELABS研究中心的Alina Petukhova与Nuno Fachada于2022年创建，旨在构建一个具备层次化标签结构且时效性良好的新闻分类数据集。该数据集从NELA-GT-2019语料库中精选10,917篇发表于2019年的新闻文章，并依据国际新闻电信理事会（IPTC）的NewsCodes Media Topic分类体系，手动标注了17个一级类别与109个二级类别，覆盖艺术、冲突、经济、健康、政治等多个领域。MN-DS的提出填补了现有新闻数据集在分类体系标准化与层次化标注方面的不足，为新闻主题建模、层次分类算法验证以及虚假信息研究提供了高质量的数据支撑，在相关领域具有重要的参考价值与应用潜力。

当前挑战

MN-DS数据集所面临的核心挑战体现在领域问题与构建过程两个层面。在领域问题方面，新闻文章的主题分类任务长期受困于类别重叠、数据不平衡以及时效性不足等难题，现有数据集如20 Newsgroups、AG’s News等或类别粒度粗糙，或存在地域偏见与分类体系混乱，难以满足细粒度层次分类的需求。MN-DS虽采用IPTC标准分类体系，但一级类别标签仍不足以精确刻画文章内涵，例如“体育”大类下包含赛事报道、产业动态等多义内容，导致分类模型在区分细粒度主题时性能受限。在构建过程中，研究者面临手动标注的艰巨挑战：需从NELA-GT-2019中随机抽取文章，并依据关键词与全文阅读逐一分配二级类别，同时控制每个类别约100篇文章的平衡性，以克服原始数据集中阴谋论内容占比过高的偏差。此外，标注工作仅由单人完成，缺乏交叉验证，可能引入主观性偏差，影响标签的一致性与可靠性。

常用场景

经典使用场景

在新闻信息爆炸的时代，海量文本数据的自动归类成为自然语言处理领域的重要挑战。MN-DS数据集以其精心构建的17个一级类别和109个二级类别的层次化新闻分类体系，为研究者提供了训练与评估多标签文本分类模型的理想基准。该数据集最经典的使用场景在于新闻文章的主题自动归类任务，研究人员可基于其标准化的IPTC新闻编码分类法，运用TF-IDF、GloVe或DistilBERT等嵌入方法结合不同分类器，开展从粗粒度到细粒度的层次化新闻分类实验，从而推动文本分类技术的迭代与优化。

实际应用

在实际应用中，MN-DS数据集展现出在新闻媒体智能化处理领域的广泛潜力。新闻聚合平台可基于该数据集训练的分类模型，实现海量新闻的自动归档与个性化推送；舆情监测系统能借助其细粒度标签，快速识别特定主题（如冲突、灾害或健康）的报道动态；事实核查机构则可通过分析文章主题分布，辅助识别信息操纵与虚假新闻传播模式。此外，该数据集对于社交媒体内容过滤、金融事件预警及公共政策分析等场景，均提供了可靠的主题分类基础。

衍生相关工作

MN-DS数据集的发布催生了一系列富有启发性的衍生研究。在方法论层面，研究者基于其层次化标签结构，探索了结合图神经网络与层次注意力机制的文本分类模型，显著提升了细粒度分类精度。在应用拓展上，有工作将MN-DS与NELA-GT的新闻真实性标签结合，构建了联合主题与可信度的多任务学习框架。此外，针对数据集中类别不均衡问题，衍生出基于对比学习的少样本分类策略，以及融合外部知识图谱的语义增强方法，这些工作共同丰富了新闻文本分析的技术生态。