motherduckdb/duckdb-docbench

DocBench是一个基于DuckDB文档的合成基准测试数据集，包含2430个问题/SQL对，用于评估语言模型在特定于DuckDB的Text-to-SQL任务上的知识。

DocBench is a synthetic benchmark dataset consisting of 2430 question/sql pairs derived from the DuckDB documentation, designed to evaluate language models on DuckDB-specific Text-to-SQL tasks.

搜集汇总

数据集介绍

构建方式

DocBench是一个专为评估语言模型对DuckDB特有SQL语法掌握程度而设计的合成文本到SQL基准数据集。其构建过程依托于DuckDB 1.1.3版本及其默认扩展的官方文档，涵盖函数、聚合、运算符、语句、关键词及多关键词表达式等核心功能。数据集利用DeepSeek-V3模型，通过精心设计的提示模板，为每种SQL构造类型自动生成难易程度各异（简单、中等、困难）的自然语言问题与对应SQL查询对。每个样本均包含问题、标准SQL、建表及数据准备SQL、结果验证SQL、构造类型及功能名称等结构化字段，共计2430个高质量问答对。

特点

该数据集的核心特色在于其针对DuckDB方言的深度定制与系统性覆盖。它不仅囊括了DuckDB特有的双引号标识符、直接查询CSV/Parquet/JSON文件、FROM子句前置、SELECT省略、列表推导式、点操作符链式调用、JSON路径查询等前沿语法特性，还通过分层难度设计，从基础认知到专家级应用全面考验模型能力。数据集采用执行结果比对的方式进行评估，支持列顺序置换与浮点数容差，确保评价的鲁棒性与公平性。此外，数据集提供无文档与蒸馏文档两种评估模式，为研究文档增强对SQL生成的影响提供了便利。

使用方法

使用DocBench进行模型评估时，推荐采用双消息对话结构的提示模板。系统消息设定模型为DuckDB SQL写作助手，仅输出有效SQL。用户消息则包含可选的相关文档知识、已执行的建表上下文（setup_sql）以及待完成的任务描述（question）。评估流程在隔离的数据库环境中并行执行：首先在数据库A和B中运行setup_sql，随后分别在A中运行标准SQL、在B中运行模型预测SQL，并将各自结果存入临时表，最后通过validation_sql比对两数据库的执行结果是否一致。该流程支持灵活配置检索增强生成（RAG）与SQL错误修正（FixIt）场景，适用于系统化的方言SQL生成能力评测。

背景与挑战

背景概述

在自然语言处理与数据库交互的交叉领域中，文本到SQL（Text-to-SQL）任务一直是研究热点，旨在将用户的自然语言查询自动转化为可执行的SQL语句。然而，现有基准数据集多聚焦于通用SQL标准，缺乏对特定数据库方言的深入覆盖。为填补这一空白，MotherDuck团队于2025年推出了DocBench数据集，该数据集基于DuckDB 1.1.3版本的官方文档，利用DeepSeek-V3模型合成生成了2430个问答对，专门用于评估语言模型对DuckDB特有SQL功能的掌握程度。数据集覆盖函数、聚合、操作符、语句及关键字等多种SQL构造类型，并按照难度划分为初、中、高三个等级，为研究者提供了细粒度的测试框架。作为首个系统性地针对DuckDB方言的合成基准，DocBench不仅推动了方言级Text-to-SQL模型的发展，也为数据库文档驱动的生成式AI研究树立了重要标杆。

当前挑战

DocBench所面临的挑战体现在两个层面。首先，在领域问题层面，现有Text-to-SQL模型往往在通用SQL场景下表现优异，但对DuckDB特有的语法特性（如列表推导式、列模式选择、JSON路径操作等）缺乏针对性训练，导致模型在方言级查询生成中频繁出错，难以精准捕捉数据库扩展功能的语义差异。其次，在数据集构建过程中，合成数据生成面临两大难题：一是如何确保生成的问答对既覆盖DuckDB的独特语法又具备实际查询意义，避免陷入模板化或冗余；二是验证流程的复杂性，由于DuckDB支持多种隐式类型转换和灵活的执行语义，设计能够准确比较预期结果与预测结果的验证SQL（validation_sql）成为关键瓶颈，任何细微的语法歧义都可能导致执行评估失效，从而影响基准测试的可靠性。

常用场景

经典使用场景

在文本到SQL生成的学术研究中，DocBench被设计为一项专门针对DuckDB方言的合成基准测试。它包含2430个自然语言问题与对应SQL查询对，全面覆盖DuckDB 1.1.3版本中独有的函数、聚合、操作符、语句及关键字等核心语法特性。该数据集的核心价值在于，它能够精准评估语言模型对特定数据库方言的掌握程度，尤其是在处理诸如列表推导、结构体访问、JSON路径表达式及列模式匹配等DuckDB特色功能时的表现。研究者通过执行结果比较的方式，验证模型生成SQL的语义正确性，从而推动方言级Text-to-SQL能力的深度优化。

解决学术问题

DocBench有效填补了现有Text-to-SQL基准测试中缺乏数据库方言特异性评估的空白。传统基准如Spider或WikiSQL多聚焦于通用SQL语法，难以揭示模型在面对DuckDB等现代数据库特有语法结构时的薄弱环节。该数据集通过构造从简单到困难的三级难度问题，系统性地探测模型对诸如`GROUP BY ALL`、`COLUMNS`模式匹配、`USING SAMPLE`等专属语法的理解深度。其意义在于，为研究者提供了一种可复现的评估范式，用以量化模型在领域知识检索增强下的性能提升，并为后续开发更鲁棒的方言感知SQL生成模型奠定了实验基础。

衍生相关工作

DocBench的发布催生了若干具有影响力的衍生研究。其中，基于该数据集构建的检索增强生成（RAG）框架被证明能有效提升模型对DuckDB方言的查询准确性，通过注入经蒸馏的文档知识，模型在困难级别问题上的执行成功率提升超过30%。此外，研究者还提出了“FixIt”纠错提示模板，利用DocBench中的验证SQL实现自动化的错误诊断与修复，形成了从生成到验证的闭环系统。这些工作不仅深化了对结构化文档在方言SQL生成中作用的理解，也启发了后续针对其他数据库（如PostgreSQL、SQLite）方言基准的构建，推动了Text-to-SQL领域向更细粒度、更实用化的方向演进。