mteb/PubChemSMILESBitextMining

ChemTEB是一个在化学领域数据上评估文本嵌入模型性能的数据集。它是一个MTEB数据集，用于评估模型在特定领域的性能和效率。数据集包括多种配置，如canon-desc、canon-title、iso-desc和iso-title，每个配置都有其对应的特征和分割。数据集的统计信息包括样本数量、字符数量、唯一对数、句子长度等。如果需要评估模型，可以使用mteb库中的相关代码进行操作。

ChemTEB is a dataset for evaluating the performance of text embedding models on chemical domain data. It is an MTEB dataset used to assess the performance and efficiency of models in a specific domain. The dataset includes various configurations such as canon-desc, canon-title, iso-desc, and iso-title, each with its corresponding features and splits. The datasets descriptive statistics include the number of samples, number of characters, unique pairs, sentence lengths, etc. To evaluate models, you can use the relevant code in the mteb library.

搜集汇总

数据集介绍

构建方式

PubChemSMILESBitextMining数据集隶属于ChemTEB基准，旨在评估化学领域文本嵌入模型的性能。其构建源于PubChem数据库，通过提取化合物的SMILES表示与对应的文本描述或标题，形成双语对照语料。数据集包含四个配置：canon-desc和canon-title基于规范化SMILES，iso-desc和iso-title基于异构体SMILES，分别与文本描述和标题配对。每个配置仅含测试集，样本量从7070到15457不等，确保了评估的标准化和可比性。

特点

该数据集的核心特点在于其化学领域的专业性与双语对齐结构。SMILES字符串与自然语言描述或标题构成一一对应的平行句对，覆盖了从简单分子到复杂化合物的广泛化学空间。数据规模适中，总样本数达45054对，句子长度分布不均，SMILES平均长度约92字符，文本平均长度约44字符，反映了化学符号与人类语言之间的语义鸿沟。这种设计使得模型必须学习跨模态的化学知识表示。

使用方法

使用该数据集时，推荐通过MTEB框架进行模型评估。用户可调用mteb.get_tasks获取任务，再通过MTEB类实例化评估器，加载预训练模型后执行run方法即可获得性能指标。数据集已预分为测试集，无需额外划分。评估结果可用于比较不同文本嵌入模型在化学领域上的语义理解能力，尤其适用于SMILES与自然语言之间的跨模态检索任务。

背景与挑战

背景概述

在化学信息学与自然语言处理的交叉领域，分子结构的文本表示与语义对齐构成了一个关键的研究命题。PubChemSMILESBitextMining数据集由Ali Shiraee Kasmaee等研究人员于2024年创建，隶属于ChemTEB化学文本嵌入基准评估体系，其核心研究问题聚焦于如何将SMILES分子线性表示与对应的化学描述文本进行跨模态语义匹配。该数据集依托美国国立卫生研究院的PubChem数据库，通过提取化合物的规范SMILES表示及异构体SMILES表示，分别与化合物的标题和描述文本构建双语平行语料，形成了涵盖约四万五千个样本的四个子集配置。作为化学领域首个大规模文本嵌入基准测试的重要组成部分，该数据集为评估嵌入模型在化学语义理解任务上的表现提供了标准化评测平台，推动了分子信息学与语言模型技术的深度融合。

当前挑战

该数据集所解决的领域核心挑战在于化学文本表示的异构对齐问题：SMILES字符串作为线性的分子拓扑编码，与自然语言描述的语义空间存在本质差异，如何实现这两种异构符号系统间的精准语义映射是化学信息提取的关键瓶颈。在构建过程中，数据集面临多重困难：首先，SMILES表示具有非唯一性，同一分子可能存在多个有效规范形式，需要采用标准化算法进行一致性处理；其次，化学描述文本的粒度差异显著，从简短的化合物名称到详尽的生物活性描述，长度跨度从1个字符到512个字符不等，这种极端长度分布对嵌入模型的动态表示能力提出了严苛要求；此外，数据集需在保持分子结构完整性的前提下，确保SMILES与文本对之间的语义等价性，这对数据清洗与校验流程的精度构成了严峻挑战。

常用场景

经典使用场景

PubChemSMILESBitextMining数据集的核心应用场景在于评估与微调化学领域的文本嵌入模型，尤其聚焦于分子表征与自然语言描述之间的语义对齐。数据集巧妙地将PubChem数据库中的化合物SMILES表达式与其对应的标题或描述性文本构建为平行语料对，形成“canon-title”、“canon-desc”、“iso-title”与“iso-desc”四种配置。研究者通过衡量模型对SMILES与文本之间语义相似性的捕捉能力，来检验嵌入模型在化学领域跨模态信息融合上的表现。这一场景为化学信息学中分子理解任务的嵌入质量提供了标准化评测基准。

解决学术问题

该数据集直面化学信息学中一个长期存在的核心难题：如何弥合结构化分子表示（SMILES）与自然语言描述之间的语义鸿沟。传统嵌入模型多基于通用语料训练，在化学领域常因缺乏领域特异性而表现欠佳。PubChemSMILESBitextMining通过构建大规模、高质量的跨模态平行语料，使得研究者能够系统评估嵌入模型在化学实体对齐、分子性质推理及化学文献理解等任务上的能力。其发布推动了化学文本嵌入基准（ChemTEB）的建立，为领域内模型性能的公平比较与持续进步奠定了数据基础。

衍生相关工作

围绕PubChemSMILESBitextMining数据集，学术界已衍生出一系列具有影响力的工作。其中最核心的是ChemTEB（Chemical Text Embedding Benchmark）基准的提出，该基准系统整合了包括本数据集在内的多项化学领域评测任务，全面评估了从通用型到领域专用型嵌入模型在化学文本理解上的表现。此外，该数据集被广泛应用于MTEB与MMTEB等大规模文本嵌入基准的化学子集构建中，促进了跨语言、跨领域嵌入模型的性能对比。众多后续研究利用该数据集微调化学预训练语言模型，显著提升了模型在分子性质预测与化学反应分类等下游任务中的精度。