PCB-Bench
收藏资源简介：
PCB-Bench是第一个全面的基准数据集，旨在系统地评估（多模态）大型语言模型（LLMs/MLLMs）在PCB布局和布线推理中的表现。它通过将文本、图像和真实PCB设计工件整合到一个统一的评估框架中，解决了缺乏标准化基准和高保真数据集的问题。数据集包含三个互补的任务设置：1) 基于文本的推理（文本到文本问答和选择题），2) 多模态图像-文本推理（图像和文本问答/选择题），3) 真实世界PCB设计理解（PCB设计理解）。
PCB-Bench is the first comprehensive benchmark dataset designed to systematically evaluate the performance of (multimodal) large language models (LLMs/MLLMs) in PCB layout and routing reasoning. It addresses the scarcity of standardized benchmarks and high-fidelity datasets by integrating text, images, and real-world PCB design artifacts into a unified evaluation framework. The dataset includes three complementary task settings: 1) Text-based reasoning (text-to-text question answering and multiple-choice questions), 2) Multimodal image-text reasoning (image and text based question answering/multiple-choice questions), 3) Real-world PCB design understanding (PCB design understanding).
PCB-Bench 数据集概述
数据集简介
PCB-Bench 是首个用于系统性评估（多模态）大语言模型在印刷电路板布局与布线方面能力的综合基准。它通过整合文本、图像和真实的PCB设计工件，解决了现实PCB工程推理中缺乏标准化基准和高保真数据集的问题。
包含内容
PCB-Bench 包含三个互补的任务设置及相应数据集：
1. 基于文本的推理
- 约 1,800 个专家编写的自由形式问答实例。
- 每个问答都有对应的单项选择题版本。
- 总计约 3,700 个问题。
- 涵盖元件放置、布线策略和设计规则合规性。
- 涵盖布局和布线中的宏观层面和微观层面，并带有主题标签。
2. 多模态图文推理
- 约 500 个需要联合解读PCB布局图像和技术提示的问题。
- 包括选择题、填空式完形填空和自由形式问答。
- 涵盖视觉语义子任务，如元件识别、功能块识别、走线推理、过孔存在性检查、差分对连续性分析等。
3. 真实PCB设计理解
- 从OSHWHub收集了174个完整的真实世界PCB项目。
- 每个设计包含原理图、布局/布线文件、设计描述、元件库和EDA软件截图等工件。
- 任务设置：给定一个独立的EDA编辑器截图，模型生成关于电路板功能/结构/应用场景的自由形式描述。
任务制定
PCB-Bench 按照真实工程工作流程组织为三个任务设置：
- 任务1：文本到文本的问答与选择题
- 任务2：图像与文本的多模态问答与选择题
- 任务3：PCB设计理解
评估协议
所有模型均在统一的零样本设置下进行评估。
评估指标
- 选择题：Top-1 准确率。
- 自由形式问答：使用BERTScore和Sentence-BERT相似度评估与参考答案的语义一致性。
- 任务3：额外报告精确率/召回率/F1分数。
数据来源与许可
- PCB设计收集自公开可用且合法访问的来源，不涉及专有或敏感的工业数据。
- 真实PCB项目收集自OSHWHub。
- PCB-Bench 以开放许可发布。
引用
如需在研究中引用PCB-Bench，请使用提供的BibTeX条目。
