PatSnap Patent Bench

PatSnap专利基准：由PatSnap发布的开放专利基准，用于评估AI系统在专利相关任务上的性能。该仓库提供评估数据集（来自诉讼、无效程序或专家注释的真实世界、人工验证测试用例）和参考指标实现（如命中率、PRES等的小型无依赖Python脚本）。它不提供检索服务、索引管道或评估平台。PatSnap Patent Benchmark: An open patent benchmark released by PatSnap for evaluating the performance of AI systems on patent-related tasks. This repository provides evaluation datasets (real-world, human-validated test cases sourced from litigation, invalidation proceedings, or expert annotations) and reference metric implementations (lightweight dependency-free Python scripts for metrics such as hit rate, PRES, etc.). It does not provide retrieval services, indexing pipelines, or evaluation platforms.

原始信息汇总

PatSnap Patent Bench 数据集概述

基本信息

PatSnap Patent Bench 是由 PatSnap 发布的开放专利基准数据集，专门用于评估人工智能系统在专利相关任务上的表现。

数据集范围

该数据集包含以下核心组成部分：

1. 评估数据集 — 来自诉讼、无效程序或专家标注的真实世界、人工验证的测试案例
2. 参考指标实现 — 轻量级、无依赖的 Python 脚本（如 Hit Rate、PRES 等）

可用基准

基准名称	任务类型	样本数量	状态
design-fto-bench	跨模态设计专利图像检索	91	已发布（v1.1）
novelty-search-bench	专利新颖性检索现有技术	—	计划中
oar-bench	专利审查意见答复生成	—	计划中
drafting-bench	专利申请文件撰写	—	计划中

数据集结构

patsnap/patent-bench ├── common/metrics/search_metrics.py # 共享指标库 + CLI └── design-fto-bench/ ├── README.md └── data/ ├── test.jsonl └── image/

快速使用

bash git clone https://github.com/patsnap/patent-bench.git cd patent-bench/design-fto-bench

运行系统后评分：

python ../common/metrics/search_metrics.py --dataset data/test.jsonl --results your_results.json

许可协议

• 数据：CC BY-NC 4.0
• 代码：Apache-2.0

引用信息

如需引用，请参考 BibTeX 格式的引用内容。

搜集汇总

数据集介绍

构建方式

PatSnap Patent Bench 数据集由智慧芽（PatSnap）发布，专注于评估人工智能系统在专利相关任务中的表现。其构建基于真实世界的专利诉讼、无效程序或专家标注的测试用例，确保了数据的现实相关性与高可靠性。当前已发布的设计-自由实施分析基准（design-fto-bench）包含91个样本，涵盖跨模态设计专利图像检索任务。数据集以JSONL格式组织，并辅以图像文件夹，便于直接加载与处理。

特点

该数据集的核心特色在于其开放性、专业性与可扩展性。所有测试用例均经过人工验证，来源权威，避免了合成数据的偏差。基准设计聚焦专利领域特有的检索与生成任务，如新颖性检索、审查意见答复生成等，填补了通用评估基准在知识产权场景的空白。配套的评估指标（如Hit Rate、PRES）以轻量无依赖的Python脚本实现，支持即插即用，便于研究者快速复现结果。

使用方法

使用该数据集时，用户需自行搭建检索或生成系统，并输出排名结果文件（如JSON格式）。随后通过调用仓库提供的公共度量脚本（search_metrics.py）进行评分，命令示例为：python search_metrics.py --dataset data/test.jsonl --results your_results.json。数据集不包含检索服务或评估平台，仅提供标准化评估框架，确保评测过程的灵活性与公平性。详细使用指南可参考各子基准的README文档。

背景与挑战

背景概述

知识产权领域，尤其是专利分析与检索任务，长期以来依赖人工专家的深厚经验，而随着人工智能技术的飞速发展，如何客观、公正地评估AI系统在专利相关任务上的能力成为亟待解决的难题。由全球创新情报服务商智慧芽（PatSnap）于2026年正式开源的PatSnap Patent Bench数据集，正是为填补这一空白而生。该数据集由智慧芽研究团队精心构建，核心研究问题聚焦于跨模态设计专利图像检索、现有技术新颖性检索、专利审查意见答复生成以及专利申请文件撰写等关键任务。通过提供真实的、经人类专家验证的测试用例，PatSnap Patent Bench不仅为全球研究机构与开发者搭建了统一的评估平台，还囊括了Hit Rate、PRES等轻量级评价指标，有力推动了AI在专利领域从理论探索走向实际应用的进程。

当前挑战

PatSnap Patent Bench所针对的核心挑战在于专利领域任务的复杂性对现有AI系统提出的严苛要求。首先，跨模态检索任务中，设计专利图像与文本描述之间存在的语义鸿沟极大，传统图像搜索或文本匹配算法难以准确捕捉二者间的关联，导致检索精度低下。其次，现有技术新颖性搜索任务需处理海量且多语种的专利文献，系统不仅需理解专利的法律和技术细节，还要克服同义词、术语不一致等问题以识别真正的前案。在构建过程中，数据集本身面临标注精度与成本之间的矛盾——每位测试案例均需经专利律师或审查专家人工验证，确保数据质量，但91个样本的规模对于训练深度学习模型而言仍然有限，限制了评估的统计显著性与泛化能力。此外，由于专利数据涉及商业机密与版权保护，该数据集采用CC BY-NC 4.0协议发布，如何在开放研究与商业应用之间维持平衡，也是其持续发展需要应对的挑战。

常用场景

经典使用场景

在知识产权与人工智能交叉领域中，PatSnap Patent Bench 数据集最为经典的使用场景莫过于专利跨模态检索任务，尤其是设计专利的侵权检索与自由实施分析（Freedom to Operate, FTO）。该数据集提供了91组经人类专家核验的真实诉讼与无效程序案例，涵盖外观设计图片与对应专利文本之间的双向检索基准。研究者可借助该基准评估模型在视觉外观与法律描述之间的语义对齐能力，从而推动跨模态检索技术在专利审查、侵权预警及竞争情报分析等环节的落地应用。

解决学术问题

该数据集精准回应了专利AI领域中长期存在的两大难题：一是缺乏公开、可复现的跨模态检索评测基准，二是现有数据集多依赖自动标注，缺乏专家验证导致的标签噪声。PatSnap Patent Bench 通过提供来自于真实法律程序的专家验证样本，有效弥补了上述空白，使得研究者能够科学地评估模型在法律真实性要求下的检索性能。其意义在于为专利智能分析树立了可量化、可比较的评估标准，显著提升了该方向研究的可信度与推动力。

衍生相关工作

围绕 PatSnap Patent Bench 已衍生出若干具有代表性的研究方向。譬如，基于该基准的跨模态检索模型在视觉Transformer与专利文本编码器的协同训练上取得了突破性进展；同时，研究者利用其提供的 Metric 库开发了针对专利检索的精确率与排序一致性指标（如 Hit Rate 与 PRES），并以此为基础进一步提出了对抗性训练策略，用以提升系统在非标准视图下的鲁棒性。这些衍生工作不仅丰富了专利AI的方法论体系，也为后续更大规模的专利基准建设奠定了方法论基础。