ai4bharat/IndicIFEval

IndicIFEval是一个用于评估大型语言模型（LLMs）在14种印度语言中约束生成能力的基准数据集。由于现有的指令遵循基准主要集中在英语上，这给数亿印度语言使用者留下了关键的评估空白。该数据集通过自动可验证的、基于规则的指令，结合了两个互补的轨道：IndicIFEval-Trans，包含从IFEval基准翻译并针对印度语境本地化的提示，经过人工验证以确保文化适应性和翻译质量；以及IndicIFEval-Ground，包含基于印度本土内容合成生成的指令，反映了更真实的语境和自然约束。数据集覆盖的语言包括阿萨姆语、孟加拉语、古吉拉特语、印地语、卡纳达语、马拉雅拉姆语、马拉地语、尼泊尔语、奥里亚语、旁遮普语、梵语、泰米尔语、泰卢固语、乌尔都语和英语。

Instruction-following benchmarks remain predominantly English-centric, leaving a critical evaluation gap for the hundreds of millions of Indic language speakers. We introduce IndicIFEval, a benchmark evaluating constrained generation of LLMs across 14 Indic languages using automatically verifiable, rule-based instructions. It combines two complementary tracks: IndicIFEval-Trans, translated prompts from IFEval carefully localized for Indic contexts, and IndicIFEval-Ground, synthetically generated instructions grounded in native Indic content.