HippoCrates

HippoCrates是一个经过高度清洗、可直接使用的分子数据集，专为微调化学大型语言模型（LLMs）而设计。该数据集由ZemResearch创建，旨在教导模型化学通用语言SMILES。数据来源于著名的QM9（用于基础有机结构）和ChEMBL（用于生物活性和药用特性）数据库，并转换为指令遵循格式，适合文本生成模型的微调。数据集经过双重清洗过程：首先通过RDKit验证每个SMILES字符串，删除违反化学键合规则（如超价碳或七键磷）的分子；然后进行去重和空值移除，最终包含1,460,203行纯净、在医学和化学上有效的分子数据。数据集采用Apache Parquet格式，并使用Snappy压缩，文件大小约38 MB，但加载后可解压为完整的1.46百万行，节省存储并加速GPU数据加载。数据以标准指令调优格式（类似Alpaca/ChatML）组织，每行包含三个字段：instruction（以标准全球英语给出的提示）、input（在此版本中为空字符串）和output（经过RDKit验证的精确SMILES字符串）。该数据集适用于文本生成任务，特别是在化学、生物、医学和药物发现领域，用于训练或微调AI模型以生成符合化学规则的分子结构。

HippoCrates is a highly cleaned, ready-to-use molecular dataset designed for fine-tuning chemical large language models (LLMs). Created by ZemResearch, it aims to teach models the chemical universal language SMILES. The data is sourced from the well-known QM9 (for basic organic structures) and ChEMBL (for bioactivity and medicinal properties) databases, and converted into an instruction-following format suitable for fine-tuning text generation models. The dataset undergoes a dual cleaning process: first, each SMILES string is validated via RDKit to remove molecules violating chemical bonding rules (such as hypervalent carbon or seven-bond phosphorus); then deduplication and null value removal are performed, resulting in 1,460,203 rows of pure, medically and chemically valid molecular data. The dataset is in Apache Parquet format with Snappy compression, with a file size of approximately 38 MB, but it can be decompressed to the full 1.46 million rows upon loading, saving storage and accelerating GPU data loading. Data is organized in a standard instruction-tuning format (similar to Alpaca/ChatML), with each row containing three fields: instruction (prompts given in standard global English), input (empty strings in this version), and output (precise SMILES strings validated by RDKit). It is suitable for text generation tasks, particularly in chemistry, biology, medicine, and drug discovery, for training or fine-tuning AI models to generate molecular structures that comply with chemical rules.

原始信息汇总

数据集名称

HippoCrates 1.4M SMILES Clean Dataset

数据集概览

• 用途：专为微调化学领域的大语言模型（LLMs）设计，用于教授模型SMILES分子表示。
• 规模：包含约146万行（1,460,203条）经过严格清洗的分子数据。
• 格式：采用Apache Parquet格式存储，并使用Snappy压缩，文件大小约为38 MB，加载后自动解压为完整数据。
• 语言：指令部分使用全球标准英语。
• 许可证：Apache 2.0。

数据来源与处理

• 原始数据来源：从QM9（基础有机结构）和ChEMBL（生物活性与药物特性）数据库中提取。
• 双重清洗流程：
  1. RDKit验证：所有SMILES字符串通过RDKit校验，删除违反化学键合规则的分子（如超价碳、七键磷等）。
  2. 去重：移除所有重复行和空值。
• 结果：得到1,460,203行纯净、化学与医学上有效的分子数据。

数据格式与结构

• 任务类别：文本生成（text-generation）。
• 特征字段：
  • instruction（字符串）：向AI提供的提示指令。
  • input（字符串）：当前版本中为空字符串。
  • output（字符串）：经RDKit验证的准确SMILES字符串。
• 分割：仅包含训练集（train），共1,460,203条样本。
• 示例行： json { "instruction": "Design a small organic molecular structure (SMILES) that adheres to basic chemical bonding laws.", "input": "", "output": "CC(=O)Oc1ccccc1C(=O)O" }

快速使用

通过Hugging Face的datasets库加载： python from datasets import load_dataset dataset = load_dataset("ZemResearch/HippoCrates-1.4M-SMILES-Clean") print(f"Total verified molecules: {len(dataset[train])}") print(dataset[train][0])

其他信息

• 标签：chemistry, smiles, biology, medical, qm9, chembl, drug-discovery。
• 维护方：由ZemResearch（Hugging Face主页）整理并发布。
• 引用与协作：鼓励用于学术论文或医学AI训练，可在社区讨论区交流。

搜集汇总

数据集介绍

构建方式

HippoCrates数据集由ZemResearch团队精心构建，旨在为化学领域的大语言模型提供高质量的分子结构训练数据。构建过程首先从QM9和ChEMBL两大权威数据库中提取原始分子数据，其中QM9提供基础有机结构，ChEMBL贡献生物活性与药用特性分子。随后，数据集经历了严格的“双重清洁”消毒流程：第一层利用RDKit化学信息学工具对所有SMILES字符串进行有效性验证，剔除违反化学键合规律（如超价碳或七键磷）的无效分子；第二层执行去重与空值清洗。最终，从海量原始数据中筛选出1,460,203条纯净、化学与医学上均有效的分子记录。

特点

该数据集最显著的特点在于其高度的纯净性与即用性。所有分子均经过RDKit的物理化学规则验证，确保每条SMILES字符串都符合真实分子结构，打破了传统数据集中普遍存在的理论无效分子问题。数据集采用Apache Parquet格式存储，并利用Google的Snappy压缩算法，凭借SMILES字符串的高度重复模式实现极致压缩，使146万行数据仅占用约38 MB存储空间，加载时却能瞬时解压恢复全量数据，大幅节省存储资源并加速GPU数据加载。数据格式采用指令微调标准结构，包含指令、输入与输出三列，专为文本生成模型的高效微调而设计。

使用方法

使用者无需手动下载文件，可直接通过Hugging Face的datasets库轻松加载。只需一行代码即可自动完成下载、缓存与数据结构化处理：使用load_dataset函数指定数据集路径即可获取完整的训练集。数据集以标准指令微调格式组织，每条样本包含instruction作为提示词、input字段留空、output字段输出经RDKit验证的SMILES字符串。用户可基于此数据集对化学大语言模型进行微调，使其学习从自然语言描述到精确分子结构的映射关系，广泛应用于药物发现、分子设计等前沿研究领域。

背景与挑战

背景概述

在计算化学与人工智能的交叉领域中，SMILES（简化分子线性输入规范）作为一种广泛采用的分子表征语言，为深度学习模型探索化学空间提供了关键接口。HippoCrates数据集由ZemResearch机构于近年精心构建，旨在通过指令微调的方式，赋予大语言模型（LLM）理解和生成化学分子结构的能力。该数据集整合了经典的QM9数据库（涵盖基础有机分子）与ChEMBL数据库（聚焦生物活性及药用特性），经过严格的物理化学规则筛选与去重，最终形成包含逾146万条经过RDKit验证的纯净SMILES序列的指令数据集。作为针对化学领域LLM微调的标准化资源，HippoCrates填补了高质量、可复用的分子指令数据的空白，为药物发现、分子性质预测及化学文本生成等前沿研究提供了坚实的数据基石。

当前挑战

该数据集所解决的领域问题主要源于化学分子表征与生成中的两大核心挑战：其一，原始化学数据库（如QM9和ChEMBL）中常存在违反基本键合规律的异常分子（例如超价碳或多重键合磷），这些物理上不可能的结构会误导模型学习错误的化学规则；其二，大语言模型原生缺乏对SMILES语法与化学拓扑结构的理解，需要大规模、高保真的对齐数据来建立原子连接性与官能团的知识映射。在构建过程中，研究团队面临的挑战来自于双重净化流程：首先利用RDKit严格摒除所有不合乎化学键合定律的畸形分子，其次对海量数据实施去重与空值清洗，确保每一条SMILES均具有物理合理性与生物相关性。此外，如何在保持数据完整性的同时，对百万级冗长SMILES字符串进行高效压缩存储（如采用Apache Parquet与Snappy压缩），亦是对工程化能力的严峻考验。

常用场景

经典使用场景

HippoCrates数据集专为化学与生物医学领域的语言模型微调而设计，其核心使用场景集中于教导大语言模型（LLMs）掌握SMILES分子表示法。通过提供经过严格RDKit验证和去重的1.4M条纯净分子数据，研究者能够高效地对生成式文本模型进行指令微调，使其精准理解分子结构、化学键规则及药物化学特征，从而生成符合物理化学规律的分子字符串。该数据集采用指令跟随格式（instruction-input-output），特别适用于训练能够根据自然语言提示生成有效SMILES序列的化学智能模型，为分子设计、虚拟筛选等下游任务奠定基础。

实际应用

在实际应用中，HippoCrates数据集赋能了多个面向药物研发与材料科学的智能系统。首先，制药企业可微调该数据集训练出的模型，用于快速生成符合类药性规则的新候选分子，加速先导化合物发现流程。其次，科研机构可将其集成到虚拟筛选管道中，自动建议特定靶点所需的小分子结构，减少对高通量物理实验的依赖。此外，该数据集还支持构建化学知识问答助手，帮助研究人员即时获取分子结构的规范表示法，提升实验设计效率。其高效的Parquet压缩格式也使得在资源受限环境下部署大型化学模型成为可能，降低了计算门槛。

衍生相关工作

HippoCrates数据集的发布已衍生出一系列具有影响力的相关工作。基于其纯净分子数据，研究者开发了多种增强型化学语言模型，如专为逆合成路径规划优化的SynthBERT，以及融合生物活性信息的BioSMILES GPT。在基准测试领域，该数据集催生了用于评估分子生成模型多样性与新颖性的标准化评测框架，包括基于RDKit验证的化学合理性和分子互异性指标。此外，学术界利用其指令格式，拓展了多模态化学学习任务，例如将SMILES与分子图表示相结合，训练出能够同时进行结构生成与性质预测的统一模型。这些工作共同巩固了HippoCrates作为化学LLM微调基石的地位。