L3Cube-IndicNews是一个面向印度区域语言的新闻标题和文章的多语言文本分类语料库，包含11种印度主要语言，包括印地语、孟加拉语、马拉地语、泰卢固语、泰米尔语、古吉拉特语、卡纳达语、奥里亚语、马拉雅拉姆语、旁遮普语和英语。该数据集分为短标题分类(SHC)、长文档分类(LDC)和长段落分类(LPC)三种类型，每种类型都包含10个或更多类别的新闻文章，以支持不同文档长度的深度分析。

Hugging Face2025-06-11 更新170

sarvamai/trivia-qa-indic

多语言阅读理解

印度语言学

Indic TriviaQA数据集是TriviaQA阅读理解数据集的多语言版本，从英语翻译成10种印度语言。该版本遵循原始数据集的无上下文格式，包含由琐事爱好者编写的问题-答案对的验证集和测试集的翻译。数据集涵盖的语言包括孟加拉语、古吉拉特语、印地语、卡纳达语、马拉地语、马拉雅拉姆语、奥里亚语、旁遮普语、泰米尔语和泰卢固语。每个示例包含问题文本、答案（包括答案别名和标准化的别名）和语言代码。验证集

Hugging Face2024-10-23 更新160

ILSUM/ILSUM-1.0

文本摘要

印度语言学

ILSUM-1.0数据集旨在为印度语言的自动文本摘要任务提供可重用的语料库。该数据集涵盖了印地语、古吉拉特语和印度英语，每个语言提供约10,000篇新闻文章。数据集的独特挑战在于代码混合和脚本混合现象，即新闻文章中常借用英语短语。数据字段包括id、文章、标题和摘要。数据分为训练集、验证集和测试集。

Hugging Face2023-07-26 更新230

LinguaLift/IndicMMLU-Pro

多语言AI

印度语言学

IndicMMLU数据集是一个用于评估多语言AI模型在印度语言上的表现的基准数据集。它包含了多种印度语言（如旁遮普语、印地语、乌尔都语、泰卢固语、古吉拉特语、卡纳达语、泰米尔语、马拉地语、孟加拉语）的验证集和测试集。

Hugging Face2025-02-01 更新170