HippoCrates
收藏资源简介:
HippoCrates是一个经过高度清洗、可直接使用的分子数据集,专为微调化学大型语言模型(LLMs)而设计。该数据集由ZemResearch创建,旨在教导模型化学通用语言SMILES。数据来源于著名的QM9(用于基础有机结构)和ChEMBL(用于生物活性和药用特性)数据库,并转换为指令遵循格式,适合文本生成模型的微调。数据集经过双重清洗过程:首先通过RDKit验证每个SMILES字符串,删除违反化学键合规则(如超价碳或七键磷)的分子;然后进行去重和空值移除,最终包含1,460,203行纯净、在医学和化学上有效的分子数据。数据集采用Apache Parquet格式,并使用Snappy压缩,文件大小约38 MB,但加载后可解压为完整的1.46百万行,节省存储并加速GPU数据加载。数据以标准指令调优格式(类似Alpaca/ChatML)组织,每行包含三个字段:instruction(以标准全球英语给出的提示)、input(在此版本中为空字符串)和output(经过RDKit验证的精确SMILES字符串)。该数据集适用于文本生成任务,特别是在化学、生物、医学和药物发现领域,用于训练或微调AI模型以生成符合化学规则的分子结构。
HippoCrates is a highly cleaned, ready-to-use molecular dataset designed for fine-tuning chemical large language models (LLMs). Created by ZemResearch, it aims to teach models the chemical universal language SMILES. The data is sourced from the well-known QM9 (for basic organic structures) and ChEMBL (for bioactivity and medicinal properties) databases, and converted into an instruction-following format suitable for fine-tuning text generation models. The dataset undergoes a dual cleaning process: first, each SMILES string is validated via RDKit to remove molecules violating chemical bonding rules (such as hypervalent carbon or seven-bond phosphorus); then deduplication and null value removal are performed, resulting in 1,460,203 rows of pure, medically and chemically valid molecular data. The dataset is in Apache Parquet format with Snappy compression, with a file size of approximately 38 MB, but it can be decompressed to the full 1.46 million rows upon loading, saving storage and accelerating GPU data loading. Data is organized in a standard instruction-tuning format (similar to Alpaca/ChatML), with each row containing three fields: instruction (prompts given in standard global English), input (empty strings in this version), and output (precise SMILES strings validated by RDKit). It is suitable for text generation tasks, particularly in chemistry, biology, medicine, and drug discovery, for training or fine-tuning AI models to generate molecular structures that comply with chemical rules.
数据集名称
HippoCrates 1.4M SMILES Clean Dataset
数据集概览
- 用途:专为微调化学领域的大语言模型(LLMs)设计,用于教授模型SMILES分子表示。
- 规模:包含约146万行(1,460,203条)经过严格清洗的分子数据。
- 格式:采用Apache Parquet格式存储,并使用Snappy压缩,文件大小约为38 MB,加载后自动解压为完整数据。
- 语言:指令部分使用全球标准英语。
- 许可证:Apache 2.0。
数据来源与处理
- 原始数据来源:从QM9(基础有机结构)和ChEMBL(生物活性与药物特性)数据库中提取。
- 双重清洗流程:
- RDKit验证:所有SMILES字符串通过RDKit校验,删除违反化学键合规则的分子(如超价碳、七键磷等)。
- 去重:移除所有重复行和空值。
- 结果:得到1,460,203行纯净、化学与医学上有效的分子数据。
数据格式与结构
- 任务类别:文本生成(text-generation)。
- 特征字段:
instruction(字符串):向AI提供的提示指令。input(字符串):当前版本中为空字符串。output(字符串):经RDKit验证的准确SMILES字符串。
- 分割:仅包含训练集(train),共1,460,203条样本。
- 示例行: json { "instruction": "Design a small organic molecular structure (SMILES) that adheres to basic chemical bonding laws.", "input": "", "output": "CC(=O)Oc1ccccc1C(=O)O" }
快速使用
通过Hugging Face的datasets库加载:
python
from datasets import load_dataset
dataset = load_dataset("ZemResearch/HippoCrates-1.4M-SMILES-Clean")
print(f"Total verified molecules: {len(dataset[train])}")
print(dataset[train][0])
其他信息
- 标签:chemistry, smiles, biology, medical, qm9, chembl, drug-discovery。
- 维护方:由ZemResearch(Hugging Face主页)整理并发布。
- 引用与协作:鼓励用于学术论文或医学AI训练,可在社区讨论区交流。




