hsila/chem-nq

--- configs: - config_name: corpus data_files: - split: corpus path: corpus/corpus-* - config_name: queries data_files: - split: test path: queries/test-* - config_name: default data_files: - split: test path: data/test-* --- # chem-nq Chemistry-filtered subset of Google Natural Questions for MTEB/BEIR-style retrieval benchmarking. ## Data - Source: `rongzhangibm/NaturalQuestionsV2`. - Filtering: Wikipedia chemistry article-title match, followed by LLM topic classification. - Corpus granularity: one row per retained Wikipedia H2 section. - Lead sections use `section: "summary"`. - H3-H6 headings are merged into the parent H2 text block and are not embedded as headings in `text`. - Table-only, gallery-only, references, further reading, external links, and see-also sections are dropped. ## Configs - `corpus` / `corpus`: 7,874 rows. - Columns: `_id`, `title`, `section`, `text`. - `queries` / `test`: 2,745 rows. - Columns: `_id`, `text`. - `default` / `test`: 2,745 rows. - Columns: `query-id`, `corpus-id`, `score`. ## Notes The `section` column is intentionally kept as corpus metadata instead of prefixing headings into `text`. This preserves clean retrieval text while allowing analysis of which Wikipedia section answered a query.The chem-nq dataset is a chemistry-filtered subset of Google Natural Questions for MTEB/BEIR-style retrieval benchmarking. The data is sourced from rongzhangibm/NaturalQuestionsV2 and filtered through Wikipedia chemistry article-title matching and LLM topic classification. The corpus granularity is one row per retained Wikipedia H2 section, with lead sections using section: "summary". H3-H6 headings are merged into the parent H2 text block and are not embedded as headings in text. Table-only, gallery-only, references, further reading, external links, and see-also sections are dropped. The dataset includes three configs: corpus with 7,874 rows and columns _id, title, section, text; queries with 2,745 rows and columns _id, text; default with 2,745 rows and columns query-id, corpus-id, score. The section column is intentionally kept as corpus metadata to preserve clean retrieval text while allowing analysis of which Wikipedia section answered a query.

搜集汇总

数据集介绍

构建方式

该数据集以Google Natural Questions为基源，经由维基百科化学条目名称匹配与大型语言模型主题分类双重筛选，构建面向化学领域的检索基准。语料粒度细化至维基百科H2章节，导言部分以summary标识，H3至H6标题合并入父级文本块，仅含表格、图库、参考文献及外部链接等非正文内容被剔除，从而形成结构清晰的化学专用检索语料库与查询集。

特点

数据集聚焦化学学科，包含7,874条章节级语料与2,745条测试查询，每条语料由标识符、标题、章节名及正文构成。section字段保留为独立元数据，避免标题混入检索文本，既维持文本纯净度，又便于分析查询所对应的维基百科章节，为检索模型提供领域内细粒度评测支持。

使用方法

该数据集适配MTEB与BEIR风格的检索评测流程，用户可分别加载corpus、queries及default三个配置。corpus配置提供待检索章节文本，queries配置提供测试查询，default配置以query-id、corpus-id和score三元组形式给出相关性判断，支持标准检索模型训练与评估。

背景与挑战

背景概述

随着信息检索技术的演进，领域特异性评测基准成为衡量模型专业能力的关键工具。chem-nq数据集由研究人员基于Google Natural Questions（NQV2）构建，通过维基百科化学文章标题匹配与大语言模型主题分类双重过滤，提炼出面向化学领域的检索评测子集。该数据集包含7,874个维基百科H2章节粒度的语料和2,745条查询，旨在为MTEB/BEIR风格的检索基准提供化学垂直领域的标准化测试平台，填补了通用问答数据集在专业领域细粒度评估上的空白，对推动化学信息检索系统的性能优化具有重要参考价值。

当前挑战

该数据集所应对的核心领域问题在于化学专业检索的精确性与语义粒度匹配，即在庞大的维基百科内容中精准定位能够回答化学查询的特定章节。构建过程中面临多重挑战：其一，从通用领域数据中有效分离化学相关内容，需依赖标题匹配与LLM分类的协同过滤策略，避免主题漂移或漏检；其二，语料粒度划分需兼顾检索单元的信息完整性与查询定位的精确性，H3-H6标题合并至父级H2文本块的处理方式对检索模型的长文本理解能力提出更高要求；其三，表格、图库、参考文献等非叙述性章节的剔除虽净化了语料，却也导致部分依赖结构化数据的化学查询缺失理想答案，影响评测的全面性。

常用场景

经典使用场景

在信息检索与自然语言处理领域，面向特定学科领域的检索基准测试日益受到重视。chem-nq数据集作为谷歌自然问题（Natural Questions）的化学过滤子集，为MTEB/BEIR风格的检索评测提供了专业化的实验平台。其经典使用场景在于评估检索模型在化学领域问答任务中的表现，具体而言，模型需从由维基百科化学条目构建的段落级语料库中，为给定的化学查询精准定位并排序相关文本片段。该数据集保留了段落级的粒度与章节元数据，使得研究者能够细致分析模型在不同篇章结构下的检索能力，从而推动领域自适应检索技术的发展。

解决学术问题

该数据集有效解决了通用检索基准在垂直领域评测中缺乏针对性的问题。传统检索数据集往往覆盖广泛主题，难以充分揭示模型在化学专业术语、概念关联及复杂语义匹配方面的短板。chem-nq通过严格的化学主题过滤与LLM分类，构建了高质量的领域内查询-段落对，为学术研究提供了可控且聚焦的评测环境。其意义在于促进检索模型对科学文献深层语义的理解，推动跨领域知识迁移研究，并为化学信息学与文本检索的交叉研究奠定数据基础，影响延伸至专业搜索引擎优化与学术文献推荐系统。

衍生相关工作

chem-nq的发布催生了一系列围绕领域自适应检索的经典工作。研究者基于该数据集探索了稠密检索模型在化学文本上的微调策略，并提出了融合领域知识的混合检索架构。部分工作进一步将其扩展至多模态场景，结合分子结构与文本描述进行联合检索。此外，该数据集也被用于评测大语言模型在检索增强生成（RAG）任务中的事实准确性，推动了化学领域问答系统的端到端优化。这些衍生研究不仅丰富了检索技术的理论框架，也为其他垂直领域的数据集构建提供了可复用的方法论。