infCapital/vnnews_corpus_100K

该数据集是从BinhVQ vnnews语料库中提取的，并随机选择了10%用于较小的持续预训练越南语LLM。数据集包含标题、摘要、类别、标签、发布时间、来源和内容等特征，主要用于文本生成任务。数据集大小为5061759896字节，包含1395443个训练样本。

This dataset is extracted from the BinhVQ vnnews corpus, and 10% of it is randomly selected for the continued pre-training of a small-scale Vietnamese Large Language Model (LLM). The dataset comprises features including title, abstract, category, tag, publication time, source, and content, and is primarily intended for text generation tasks. It has a size of 5061759896 bytes and contains 1,395,443 training samples.

原始信息汇总

数据集概述

语言

• 越南语 (vi)

许可证

• Apache 2.0

数据集规模

• 大小范围：100K < n < 1M

任务类别

• 文本生成

数据集信息

特征

• title: 字符串类型
• sapo: 字符串类型
• cate: 字符串类型
• tags: 字符串类型
• publish: 字符串类型
• source: 字符串类型
• content: 字符串类型

数据分割

• train:
  • 字节数: 5061759896
  • 样本数: 1395443

下载和数据集大小

• 下载大小: 2178488132 字节
• 数据集大小: 5061759896 字节

配置

• config_name: default
  • 数据文件:
    • 分割: train
    • 路径: data/train-*

数据来源

• 从 BinhVQ vnnews 语料库提取，随机选择 10% 用于较小的越南语 LLM 持续预训练

搜集汇总

数据集介绍

构建方式

该数据集源自BinhVQ所构建的vnnews语料库，通过随机抽取10%的样本形成，旨在为越南语大语言模型的持续预训练提供精简而高效的训练资源。原始语料库涵盖丰富的越南语新闻文本，经过筛选与重组，最终汇聚成包含约139万条训练样本的数据集，每条记录均包含标题、摘要、类别、标签、发布时间、来源及正文内容，结构严谨且信息完备。

特点

数据集以Apache-2.0许可协议开放，规模介于10万至100万条之间，实际训练集达139万条，体现出高覆盖性与代表性。其核心特点在于多维度字段设计，不仅保留新闻正文，还囊括标题、摘要、类别与标签等元数据，为文本生成任务提供丰富的上下文信息。数据以越南语为主，专为语言模型预训练优化，兼顾多样性与专业性。

使用方法

数据集以HuggingFace格式发布，支持通过HuggingFace Datasets库直接加载，使用默认配置即可访问训练集。用户可指定`infCapital/vnnews_corpus_100K`名称，利用`load_dataset`函数快速获取数据，并依据字段名称提取标题、正文等内容进行文本生成任务。数据以分片形式存储于`data/train-*`路径，便于分布式处理与大规模训练。

背景与挑战

背景概述

在自然语言处理领域，越南语作为低资源语言，其大规模、高质量语料库的匮乏长期制约着预训练语言模型的发展。infCapital/vnnews_corpus_100K数据集由研究人员从BinhVQ vnnews语料库中随机抽取10%构建而成，创建时间约为2023年，旨在为越南语大语言模型的持续预训练提供支撑。该数据集包含超过139万条训练样本，涵盖标题、摘要、类别、标签、发布时间、来源及正文等结构化字段，为文本生成任务奠定了坚实基础。其问世不仅填补了越南语新闻语料在公开数据集中的空白，更推动了越南语自然语言处理研究从通用模型向领域适配的转变，对东南亚语言技术生态建设具有里程碑意义。

当前挑战

该数据集面临的核心挑战首先在于领域问题的复杂性：越南语作为低资源语言，其分词、语法歧义及方言差异显著，使得模型在文本生成任务中容易产生语义偏差或事实性错误，亟需更精细的标注规范与领域自适应策略。其次，构建过程中遭遇多重困难：原始语料从BinhVQ vnnews中随机抽取10%，这一比例虽降低了数据冗余，却可能导致长尾新闻类别（如科技、国际事件）的代表性不足，影响模型泛化能力。此外，数据集仅提供单次划分的训练集，缺乏验证与测试集，难以系统评估模型性能与过拟合风险。数据规模虽大，但来源单一（仅限新闻领域），限制了其在多场景任务中的迁移效果。

常用场景

经典使用场景

在越南语自然语言处理领域，大规模、高质量语料库的匮乏长期制约着预训练语言模型的发展。infCapital/vnnews_corpus_100K数据集从BinhVQ vnnews语料库中随机抽取10%样本，汇聚逾百万篇越南语新闻文本，涵盖标题、摘要、类别、标签、发布时间、来源及正文等结构化字段，为越南语大语言模型的持续预训练提供了坚实的数据基石。该数据集最经典的使用场景在于支撑越南语生成式语言模型的领域自适应预训练，研究者可基于此语料对通用多语言模型进行持续训练，使其精准习得越南语的词汇分布、句法结构及新闻文体特征，从而显著提升模型在越南语文档摘要、新闻生成等下游任务中的表现。

实际应用

在实际产业场景中，该数据集展现出广泛的应用潜力。新闻媒体机构可利用其训练的越南语语言模型实现自动化新闻摘要生成，快速提炼海量资讯核心信息；社交媒体平台可基于此语料微调情感分析模型，精准捕捉越南语用户对热点事件的舆情倾向；电商与金融企业则能借助持续预训练模型处理越南语客户咨询、合同条款解析等专业化文本。此外，该数据集的结构化特性使其便于集成到智能内容推荐系统中，通过理解新闻类别与标签的语义关联，提升越南语用户的个性化信息流服务质量。

衍生相关工作

该数据集衍生了一系列重要的学术与工程实践。在模型层面，研究者基于此语料对PhoBERT、XLM-R等越南语预训练模型进行持续预训练，开发出针对新闻领域的专用变体，显著提升了命名实体识别与文本分类精度。在任务拓展上，该数据集催生了越南语新闻主题聚类、跨语言新闻对齐及事实验证等基准测试集，推动了多语言新闻分析的研究进展。此外，其随机采样策略为探究预训练数据规模与模型性能的幂律关系提供了实证样本，相关结论已被后续低资源语言预训练的数据筛选工作广泛引用。