RaviNaik/Wikipedia-Kn

---
configs:
- config_name: default
data_files:
- split: train
path: data/train-*
dataset_info:
features:
- name: id
dtype: string
- name: url
dtype: string
- name: title
dtype: string
- name: text
dtype: string
splits:
- name: train
num_bytes: 402848197
num_examples: 31437
download_size: 147074910
dataset_size: 402848197
license: mit
task_categories:
- text-generation
language:
- kn
size_categories:
- 10K<n<100K
---
# Dataset Card for "Wikipedia-Kn"

This is a filtered version of the [Wikipedia](https://huggingface.co/datasets/wikimedia/wikipedia) dataset only containing samples of Kannada language.
The dataset contains total of 31437 samples.

### Data Sample:
```python
{'id': '832',
'url': 'https://kn.wikipedia.org/wiki/%E0%B2%A1%E0%B2%BF.%E0%B2%B5%E0%B2%BF.%E0%B2%97%E0%B3%81%E0%B2%82%E0%B2%A1%E0%B2%AA%E0%B3%8D%E0%B2%AA',
'title': 'ಡಿ.ವಿ.ಗುಂಡಪ್ಪ',
'text': 'ಡಿ ವಿ ಜಿ(ಮಾರ್ಚ್ ೧೭, ೧೮೮೭ - ಅಕ್ಟೋಬರ್ ೭, ೧೯೭೫) ಎಂಬ ಹೆಸರಿನಿಂದ ಪ್ರಸಿದ್ಧರಾದ ಡಾ. ದೇವನಹಳ್ಳಿ ವೆಂಕಟರಮಣಯ್ಯ ಗುಂಡಪ್ಪನವರು ಕರ್ನಾಟಕದ ಪ್ರಸಿದ್ಧ ಸಾಹಿತಿ, ಪತ್ರಕರ್ತರು. ಹಲವು ಕ್ಷೇತ್ರಗಳಲ್ಲಿ ಸೇವೆ ಸಲ್ಲಿಸಿದ ಇವರು ಕನ್ನಡದ ಆಧುನಿಕ ಸರ್ವಜ್ಞ ಎಂದೇ ಪ್ರಸಿದ್ಧರಾದವರು.\n\nಬಾಲ್ಯ ಜೀವನ\nಡಿ.ವಿ.ಜಿ ಅವರು ೧೮೮೭, ಮಾರ್ಚ್ ೧೭ರಂದು ಕೋಲಾರ ಜಿಲ್ಲೆಯ ಮುಳಬಾಗಿಲು ತಾಲೂಕಿನ ದೇವನಹಳ್ಳಿಯಲ್ಲಿ ಜನಿಸಿದರು.\n\nವೃತ್ತಿ ಜೀವನ\nಪ್ರೌಢಶಾಲೆಯಲ್ಲಿ\n\nಸಾಹಿತ್ಯ ಕೃಷಿ\nದಿವಾನ್ ರಂಗಾಚಾರ್ಯ ಅವರ ಬಗ್ಗೆ ಇಂಗ್ಲಿಷಿನಲ್ಲಿ ಬರೆದ ಲೇಖನ ಡಿ.ವಿ.ಜಿ ಅವರ ಬದುಕಲ್ಲಿ ಹೊಸ ತಿರುವು ಪಡೆಯಿತು. ಮುಂದೆ ಪುಸ್ತಕ ರೂಪಕ್ಕೆ ತರಲು ಹಲವು ಮಾರ್ಪಾಡು ಮಾಡಿದರು. ಇದು ಪ್ರಕಟವಾಗುತ್ತಿದ್ದಂ....."
}
```

### Use with Datasets
```python
from datasets import load_dataset

ds = load_dataset("RaviNaik/Wikipedia-Kn")
```

配置项：
- 配置名称：default
数据文件：
- 拆分方式：训练集（train）
文件路径：data/train-*
数据集信息：
特征字段：
- 字段名：id，数据类型：字符串（string）
- 字段名：url，数据类型：字符串（string）
- 字段名：title，数据类型：字符串（string）
- 字段名：text，数据类型：字符串（string）
数据集拆分：
- 拆分名称：训练集，总字节数：402848197，样本数量：31437
下载总大小：147074910 字节
数据集总存储大小：402848197 字节
开源许可证：MIT许可证（MIT）
任务类别：文本生成（text-generation）
使用语言：卡纳达语（kn）
样本量级：10K<n<100K（样本数介于1万至10万之间）
---
# 「维基百科-卡纳达语（Wikipedia-Kn）」数据集卡片
本数据集为[维基百科（Wikipedia）](https://huggingface.co/datasets/wikimedia/wikipedia)数据集的过滤版本，仅收录卡纳达语语料样本，总计包含31437条数据。

### 数据样例
python
{'id': '832',
'url': 'https://kn.wikipedia.org/wiki/%E0%B2%A1%E0%B2%BF.%E0%B2%B5%E0%B2%BF.%E0%B2%97%E0%B3%81%E0%B2%82%E0%B2%A1%E0%B2%AA%E0%B3%8D%E0%B2%AA',
'title': 'ಡಿ.ವಿ.ಗುಂಡಪ್ಪ',
'text': 'ಡಿ ವಿ ಜಿ(ಮಾರ್ಚ್ ೧೭, ೧೮೮೭ - ಅಕ್ಟೋಬರ್ ೭, ೧೯೭೫) ಎಂಬ ಹೆಸರಿನಿಂದ ಪ್ರಸಿದ್ಧರಾದ ಡಾ. ದೇವನಹಳ್ಳಿ ವೆಂಕಟರಮಣಯ್ಯ ಗುಂಡಪ್ಪನವರು ಕರ್ನಾಟಕದ ಪ್ರಸಿದ್ಧ ಸಾಹಿತಿ, ಪತ್ರಕರ್ತರು. ಹಲವು ಕ್ಷೇತ್ರಗಳಲ್ಲಿ ಸೇವೆ ಸಲ್ಲಿಸಿದ ಇವರು ಕನ್ನಡದ ಆಧುನಿಕ ಸರ್ವಜ್ಞ ಎಂದೇ ಪ್ರಸಿದ್ಧರಾದವರು.

ಬಾಲ್ಯ ಜೀವನ
ಡಿ.ವಿ.ಜಿ ಅವರು ೧೮೮೭, ಮಾರ್ಚ್ ೧೭ರಂದು ಕೋಲಾರ ಜಿಲ್ಲೆಯ ಮುಳಬಾಗಿಲು ತಾಲೂಕಿನ ದೇವನಹಳ್ಳಿಯಲ್ಲಿ ಜನಿಸಿದರು.

ವೃತ್ತಿ ಜೀವನ
ಪ್ರೌಢಶಾಲೆಯಲ್ಲಿ

ಸಾಹಿತ್ಯ ಕೃಷಿ
ದಿವಾನ್ ರಂಗಾಚಾರ್ಯ ಅವರ ಬಗ್ಗೆ ಇಂಗ್ಲಿಷಿನಲ್ಲಿ ಬರೆದ ಲೇಖನ ಡಿ.ವಿ.ಜಿ ಅವರ ಬದುಕಲ್ಲಿ ಹೊಸ ತಿರುವು ಪಡೆಯಿತು. ಮುಂದೆ ಪುಸ್ತಕ ರೂಪಕ್ಕೆ ತರಲು ಹಲವು ಮಾರ್ಪಾಡು ಮಾಡಿದರು. ಇದು ಪ್ರಕಟವಾಗುತ್ತಿದ್ದಂ....."
}

### 数据集调用示例
python
from datasets import load_dataset

ds = load_dataset("RaviNaik/Wikipedia-Kn")

原始信息汇总

数据集概述

数据集名称

Wikipedia-Kn

数据集描述

这是一个经过筛选的Wikipedia数据集，仅包含卡纳达语样本。数据集总共包含31437个样本。

数据集配置

• 配置名称: default
• 数据文件:
  • 分割: train
  • 路径: data/train-*

数据集特征

• 名称: id
  • 数据类型: string
• 名称: url
  • 数据类型: string
• 名称: title
  • 数据类型: string
• 名称: text
  • 数据类型: string

数据集分割

• 名称: train
  • 字节数: 402848197
  • 样本数: 31437

数据集大小

• 下载大小: 147074910
• 数据集大小: 402848197

许可证

MIT

任务类别

• 文本生成

语言

• 卡纳达语 (kn)

大小类别

• 10K < n < 100K

数据样本

python {id: 832, url: https://kn.wikipedia.org/wiki/%E0%B2%A1%E0%B2%BF.%E0%B2%B5%E0%B2%BF.%E0%B2%97%E0%B3%81%E0%B2%82%E0%B2%A1%E0%B2%AA%E0%B3%8D%E0%B2%AA, title: ಡಿ.ವಿ.ಗುಂಡಪ್ಪ, text: ಡಿ ವಿ ಜಿ(ಮಾರ್ಚ್ ೧೭, ೧೮೮೭ - ಅಕ್ಟೋಬರ್ ೭, ೧೯೭೫) ಎಂಬ ಹೆಸರಿನಿಂದ ಪ್ರಸಿದ್ಧರಾದ ಡಾ. ದೇವನಹಳ್ಳಿ ವೆಂಕಟರಮಣಯ್ಯ ಗುಂಡಪ್ಪನವರು ಕರ್ನಾಟಕದ ಪ್ರಸಿದ್ಧ ಸಾಹಿತಿ, ಪತ್ರಕರ್ತರು. ಹಲವು ಕ್ಷೇತ್ರಗಳಲ್ಲಿ ಸೇವೆ ಸಲ್ಲಿಸಿದ ಇವರು ಕನ್ನಡದ ಆಧುನಿಕ ಸರ್ವಜ್ಞ ಎಂದೇ ಪ್ರಸಿದ್ಧರಾದವರು.

ಬಾಲ್ಯ ಜೀವನ ಡಿ.ವಿ.ಜಿ ಅವರು ೧೮೮೭, ಮಾರ್ಚ್ ೧೭ರಂದು ಕೋಲಾರ ಜಿಲ್ಲೆಯ ಮುಳಬಾಗಿಲು ತಾಲೂಕಿನ ದೇವನಹಳ್ಳಿಯಲ್ಲಿ ಜನಿಸಿದರು.

ವೃತ್ತಿ ಜೀವನ ಪ್ರೌಢಶಾಲೆಯಲ್ಲಿ

ಸಾಹಿತ್ಯ ಕೃಷಿ ದಿವಾನ್ ರಂಗಾಚಾರ್ಯ ಅವರ ಬಗ್ಗೆ ಇಂಗ್ಲಿಷಿನಲ್ಲಿ ಬರೆದ ಲೇಖನ ಡಿ.ವಿ.ಜಿ ಅವರ ಬದುಕಲ್ಲಿ ಹೊಸ ತಿರುವು ಪಡೆಯಿತು. ಮುಂದೆ ಪುಸ್ತಕ ರೂಪಕ್ಕೆ ತರಲು ಹಲವು ಮಾರ್ಪಾಡು ಮಾಡಿದರು. ಇದು ಪ್ರಕಟವಾಗುತ್ತಿದ್ದಂ....." }

使用方法

python from datasets import load_dataset

ds = load_dataset("RaviNaik/Wikipedia-Kn")

搜集汇总

数据集介绍

构建方式

该数据集源于维基百科的公开语料库，经过精细的过滤与抽取，专门保留了卡纳达语（Kannada）的样本。构建过程中，研究者从海量的多语言维基百科条目中筛选出卡纳达语文本，确保数据的语言纯净性。最终汇聚了31,437条样本，每条样本包含唯一的标识符、原始URL、标题以及完整的正文内容，形成了结构清晰、语言专一的语料集合。

特点

数据集具有鲜明的语言聚焦特性，专注于卡纳达语这一相对低资源的语言，为自然语言处理领域提供了稀缺的高质量训练素材。其规模适中，介于10K至100K之间，既避免了数据冗余，又足以支撑文本生成等任务的模型微调。每条样本的字段设计简洁而完整，涵盖了从元数据到正文的全面信息，便于研究者快速理解和使用。

使用方法

数据集的使用极为便捷，通过HuggingFace的datasets库即可一键加载。用户只需调用`load_dataset('RaviNaik/Wikipedia-Kn')`，即可获取包含训练集的Dataset对象，其中每个样本以字典形式呈现，字段包括id、url、title和text。该数据集主要适用于文本生成任务，研究者可直接将其用于卡纳达语的语言模型训练或下游任务的微调，无需额外的预处理步骤。

背景与挑战

背景概述

在自然语言处理领域，大规模多语言语料库的构建对于推动低资源语言的研究至关重要。卡纳达语（Kannada）作为印度使用广泛的德拉维达语系语言，其数字化语料资源长期匮乏，限制了相关语言模型与文本生成任务的发展。RaviNaik等人于近期发布的Wikipedia-Kn数据集，从维基百科中筛选出约3.1万篇卡纳达语文章，涵盖标识符、网址、标题及正文等结构化字段，旨在为文本生成等任务提供高质量的、经过过滤的卡纳达语语料。该数据集以MIT许可证开放，降低了学术与工业界的研究门槛，不仅填补了卡纳达语大规模语料库的空白，也为低资源语言的自然语言处理研究提供了重要基准，推动了语言多样性与包容性在人工智能领域的发展。

当前挑战

Wikipedia-Kn数据集面临的核心挑战在于低资源语言语料库的稀疏性与质量平衡。一方面，卡纳达语作为低资源语言，维基百科中可获取的原始文章数量有限，仅3.1万样本难以覆盖丰富的语义与领域知识，易导致模型在文本生成任务中出现泛化能力不足的问题。另一方面，数据构建过程中需应对维基百科内容的噪声与不一致性，例如非标准拼写、重复内容或机器翻译痕迹，过滤策略虽提升了语料纯度，但也可能剔除部分有价值的地道表达。此外，数据集规模较小（10K至100K），在训练大规模语言模型时面临过拟合风险，亟需结合数据增强或迁移学习策略以缓解数据稀疏性带来的挑战。

常用场景

经典使用场景

在自然语言处理与计算语言学领域，RaviNaik/Wikipedia-Kn数据集作为卡纳达语文本生成的经典基准资源，常被用于预训练语言模型的语料构建与微调。研究者通过该数据集中的三万余条高质量维基百科条目，能够系统性地训练模型捕捉卡纳达语的语法结构、词汇分布与语义关联，从而推动低资源语言的神经语言模型发展。其标准化的字段设计（包括标识符、URL、标题与正文）为序列到序列任务、掩码语言建模及零样本跨语言迁移学习提供了稳定且可复现的实验基础。

衍生相关工作

基于RaviNaik/Wikipedia-Kn数据集，学术界衍生出多项经典工作，包括卡纳达语专用词向量模型（如KannadaWord2Vec）的预训练、跨语言命名实体识别系统的迁移学习实验，以及面向达罗毗荼语系的序列标注基准测试集。后续研究者还将其与IndicGLUE等评测框架结合，构建了多任务学习评估体系，进一步探索了同语族语言间的知识共享机制。这些工作共同推动了低资源语言处理从数据稀缺到模型泛化能力提升的范式转变。

数据集最近研究

最新研究方向

当前，低资源语言的自然语言处理研究正蓬勃发展，其中卡纳达语（Kannada）作为印度达罗毗荼语系的重要代表，其语料资源的匮乏长期制约着相关技术的进步。RaviNaik/Wikipedia-Kn数据集应运而生，它从维基百科中精选了3万余条高质量卡纳达语文本，覆盖文学、历史、科技等多领域内容，为预训练语言模型、文本生成及多语言迁移学习提供了关键支撑。这一数据集的推出，紧密呼应了全球AI领域对语言多样性的关注，尤其在印度数字化浪潮中，助力卡纳达语的智能助手、机器翻译等应用落地。其MIT开源许可进一步降低了研究门槛，有望推动该语言在低资源场景下的前沿探索，并为其他小语种的数据建设树立典范。