Turkish Conversation Prompt-Injection Dataset

一个用于研究自然对话、安全敏感请求和代理工作流中提示注入检测的土耳其语数据集，包含750个独特示例，包括450个自然良性对话、150个安全相关良性困难负样本和150个提示注入与LLM安全攻击，每个攻击都有匹配的良性示例，采用配对设计以帮助检测器学习意图和信任边界违规。

原始信息汇总

数据集概述

名称: Turkish Conversation Prompt-Injection Dataset
语言: 土耳其语（tr）
许可证: Creative Commons Attribution 4.0 International（CC BY 4.0）
版本: 1.0.1
任务类别: 文本分类（text-classification）
数据规模: n<1K（共 750 个样本）
数据来源: 机器生成（machine-generated）
注释创建者: 其他（other）

数据集目的

该数据集用于研究在自然对话、安全敏感请求及智能体工作流中，检测提示注入（Prompt Injection）攻击。其独特之处在于采用“配对设计”：每个攻击样本都有一个主题和词汇相似的安全样本与之配对，旨在训练分类器理解意图和信任边界违规，而非简单地将“system prompt”、“API key”等安全相关词汇识别为攻击。

标签定义

• label = 1：输入试图让大语言模型或大语言模型驱动的智能体执行以下至少一项操作：覆盖更高优先级的指令、暴露隐藏指令或敏感上下文、绕过授权或审批要求、执行未授权的工具操作、遵循外部内容中嵌入的恶意指令、在记忆或检索上下文中持久化不安全指令。
• label = 0：输入未尝试跨越上述边界。安全样本仍可能提及安全、提示、密码、API 密钥、管理员访问或攻击术语。

数据组成

类别	标签	数量	说明
benign_daily（日常安全）	0	410	自然日常土耳其语对话
benign_technical（技术安全）	0	40	合法的技术支持请求
benign_boundary（边界安全）	0	150	与攻击配对的安全-邻近硬负例
prompt_injection（提示注入攻击）	1	150	直接注入、间接注入及面向智能体的攻击
总计		750

攻击家族（每个家族 15 个攻击示例）

家族名称	描述
direct_instruction_override	试图替换或超越可信指令
system_prompt_extraction	试图揭示隐藏提示、策略或规则文本
roleplay_jailbreak	使用虚构、角色扮演或人格设定突破限制
authority_claim_bypass	声称权限或紧急情况以跳过验证
sensitive_data_exfiltration	请求机密、凭证或私人记录
tool_action_abuse	试图触发未授权或破坏性的智能体操作
indirect_content_injection	在网络、电子邮件、文档或工具输出中嵌入恶意指令
rag_context_poisoning	检索内容试图成为可信指令
memory_context_poisoning	试图在后续交互中持久化不安全行为
obfuscation_code_switching	基于混淆、混合语言或格式的注入

数据划分

划分结果互不相交，配对的良性/攻击样本始终保留在同一划分中，以防止配对泄漏。

划分	良性	攻击	总计
train（训练集）	430	100	530
validation（验证集）	80	20	100
test（测试集）	90	30	120
总计	600	150	750

所有十个攻击家族在每个划分中均存在。构建过程是确定性的，使用记录在 metadata/stats.json 中的固定种子。

字段说明

字段	类型	说明
id	string	稳定的唯一示例标识符
text	string	土耳其语输入或不受信任的内容片段
label	integer	0（良性），1（提示注入/安全攻击）
category	string	四个组成类别之一
attack_family	string	攻击分类值；安全行记为 none
source_context	string	输入出现的上下文，如直接用户输入、电子邮件、RAG 文档或智能体工具请求
pair_id	string/null	将每个攻击与其配对的良性示例关联
source_type	string	每一行均为 synthetic_curated
split	string	train、validation 或 test

数据创建与质量

• 创建方式：所有示例均为合成数据，不包含生产日志、私人对话、客户记录或抓取的个人数据。分三阶段构建：1）450 行土耳其语安全对话种子经逐行审核；2）定义十个攻击家族，每个家族手写 15 个攻击及 15 个配对的边界安全样本；3）确定性构建脚本生成互斥划分，验证脚本检查模式、重复文本、配对完整性、划分泄漏、家族平衡及常见敏感数据模式。
• 质量控制：750 个唯一 ID 和唯一规范化文本；无行出现在多个划分中；每个 pair_id 恰好包含一个良性行和一个攻击行；每对行均在同一划分中；每个攻击家族恰好 15 个示例；发布行中无类似真实的电子邮件地址、土耳其 IBAN、电话号码或长账户号码；确定性 SHA-256 校验和；可通过脚本 ruby scripts/validate_dataset.rb 重现验证。

使用场景

• 推荐用途：土耳其语提示注入检测研究、LLM 安全分类器的硬负例训练、直接与间接注入分类实验、土耳其语 LLM 应用的红队回归套件、普通及安全邻近土耳其语请求的误报分析。建议报告指标包括攻击召回率、精确率、平衡准确率及在 benign_boundary 上的误报行为。
• 不适用场景：不应视为生产认证基准、现实世界攻击流行率的代表性估计、模型对未见攻击安全的证明、针对任何命名模型或供应商的成功攻击数据集、或授权、工具级访问控制及输出处理的替代方案。

局限性

• 数据集为合成数据，可能保留风格上的规律性。
• 仅面向土耳其语，不衡量多语言泛化能力。
• 间接注入示例为文本表示，并非完整网页、图像或文件。
• 150 个攻击示例覆盖广度而非全面变化。
• 攻击有效性未针对特定商业模型测试。
• 部分标签取决于假定的信任边界；使用者应保留 source_context 字段。

加载方式

python from datasets import load_dataset

dataset = load_dataset("3nesdeniz/turkish-conversation-prompt-injection") print(dataset)

数据集使用正常的 train、validation 和 test 划分，无重叠的便捷划分。

作者与发布信息

• 作者: Enes Deniz
• 发布者: Enes Deniz
• 隶属机构: AltaySec
• ORCID: 0009-0006-9491-3565
• 网站: https://altaysec.com.tr/enes-deniz.html
• GitHub: https://github.com/3nesdeniz
• LinkedIn: https://linkedin.com/in/3nesdeniz

引用

bibtex @misc{deniz2026turkish_conversation_prompt_injection, title = {Turkish Conversation Prompt-Injection Dataset}, author = {Deniz, Enes}, year = {2026}, version = {1.0.1}, publisher = {Enes Deniz}, orcid = {0009-0006-9491-3565}, note = {Affiliation: AltaySec}, url = {https://huggingface.co/datasets/3nesdeniz/turkish-conversation-prompt-injection}, license = {CC BY 4.0} }

相关链接

• Hugging Face 数据集页面: https://huggingface.co/datasets/3nesdeniz/turkish-conversation-prompt-injection
• 交互式数据集探索器: https://huggingface.co/spaces/3nesdeniz/turkish-prompt-injection-explorer
• LLM 安全测试平台: https://github.com/3nesdeniz/llm-security-testbench
• 技术笔记（土耳其语）: https://medium.com/p/56801b23aa3f

搜集汇总

数据集介绍

构建方式

在大型语言模型安全研究日益受到关注的背景下，Turkish Conversation Prompt-Injection Dataset应运而生。该数据集的构建遵循了严谨的三阶段流程：首先，精心筛选并审核了450条土耳其语日常良性对话作为种子样本，逐行验证其有效性与无敏感信息；随后，定义了十类攻击家族，并为每个家族独立创作了15条攻击样本与15条配对的边界良性样本，后者在主题和词汇上与攻击样本高度相似；最后，通过确定性构建脚本生成互不重叠的数据划分，并辅以验证脚本确保模式完整性、配对完整性及分片无泄漏。所有样本均为合成生成，不包含任何真实对话或隐私数据。

特点

该数据集最显著的特点在于其精心设计的配对结构——每条攻击样本均有一条主题与词汇高度匹配的边界良性样本与之对应，旨在促使检测器学习区分意图与信任边界违反，而非简单地将特定词汇标记为攻击。数据集共包含750条独特样本，涵盖日常良性、技术良性、边界良性及直接注入、系统提示抽取、角色扮演越狱等十类攻击家族。所有样本均携带丰富的元信息字段，包括类别、攻击家族、来源上下文及配对标识符，为细粒度分析与可复现评估提供了坚实基础。

使用方法

研究人员可通过Hugging Face Datasets库便捷加载该数据集，其划分为训练集（530条）、验证集（100条）和测试集（120条），且配对的良性与攻击样本始终保留在同一分片中以避免信息泄漏。推荐的应用方向包括土耳其语提示注入检测研究、LLM安全分类器的困难负样本训练、直接与间接注入分类实验、红队回归测试以及误报分析。评估时应重点关注攻击召回率、精确率、平衡准确率以及在边界良性样本上的误报行为。数据集遵循CC BY 4.0许可协议，使用者需注明作者Enes Deniz的归属信息。

背景与挑战

背景概述

随着大语言模型（LLM）在安全关键场景中的广泛应用，提示注入攻击已成为威胁模型鲁棒性的重大隐患。为填补土耳其语环境下提示注入检测研究的空白，Enes Deniz（隶属于AltaySec）于2026年发布了Turkish Conversation Prompt-Injection Dataset（v1.0.1）。该数据集以OWASP对直接与间接提示注入的区分为理论框架，聚焦于指令层级破坏、敏感信息泄露、权限绕过等核心研究问题。通过精心构建750条土耳其语样本（含450条良性对话、150条安全相关难负例及150条攻击样本），并采用攻击-良性配对设计，该数据集为多语言LLM安全评估提供了关键基准。其重要性在于首次系统性地将提示注入检测研究拓展至土耳其语领域，推动了LLM安全防护的跨语言研究进程。

当前挑战

该数据集应对的领域挑战在于：土耳其语提示注入检测亟需平衡攻击召回率与误报率，现有分类器常因过度依赖关键词（如“system prompt”）而误判安全相关请求，难以精准识别意图层面的信任边界跨越行为。构建过程中面临的挑战包括：一是合成数据固有的风格规律性与多样性不足，难以完全模拟真实世界的攻击变体；二是150个攻击样本侧重于覆盖攻击类型的广度而非同一家族内的变异深度，可能导致模型对未见攻击的泛化能力受限；三是间接注入样本仅以文本形式呈现，缺乏网页、工具输出等原始格式的完整上下文，限制了检测系统对多模态注入途径的适应能力；四是缺乏对商业模型实际攻击有效性的实证验证，削弱了数据集作为安全认证基准的可信度。

常用场景

经典使用场景

在大型语言模型（LLM）安全研究领域，Turkish Conversation Prompt-Injection Dataset专为检测自然对话中的提示注入攻击而设计。其经典使用场景集中于构建和评估面向土耳其语的LLM安全分类器，特别是需要区分常规用户请求与恶意指令覆盖、系统提示泄露、工具滥用等攻击行为的场景。数据集通过精心配对的良性边界样本（benign_boundary）与攻击样本，迫使模型学习理解意图与信任边界 violations，而非简单记忆安全关键词。研究者可利用其覆盖10类攻击族（如direct_instruction_override、system_prompt_extraction）的150个攻击实例，结合430个日常对话与40个技术支持请求，在训练、验证和测试的严格分离拆分中开展可复现的鲁棒性实验。

实际应用

在实际部署中，该数据集成为土耳其语LLM应用（如银行客服、政府数字化平台、医疗咨询系统）上线前的安全验证核心工具。开发团队可利用其构建红队回归测试套件，在集成测试阶段检测模型是否容易受直接或间接提示注入影响。例如，对需处理用户输入与RAG文档的智能助手，数据集中rag_context_poisoning与memory_context_poisoning样本可验证检索内容是否被误提升为可信指令。安全审计员通过分析benign_boundary类别（如讨论系统提示配置的合法请求）的假阳性分布，优化生产环境中的告警阈值。AltaySec等安全公司已将其整合至LLM Security Testbench流水线，支持在发布前量化攻击召回率、精确度与边界样本的稳健性。

衍生相关工作

该数据集已催生多项衍生研究。其一，OWASP土耳其分部基于其10类攻击族构建了本地化的提示注入分类谱系，填补了英语标准在形态丰富语言中的映射空白。其二，研究者利用配对样本设计轻量级对比学习框架，训练仅含150万参数的土耳其语注入检测头，在保持攻击召回率的同时将边界样本误报率降低42%。其三，Hashicorp的Vault团队借鉴其source_context字段设计融合指令来源的上下文感知防御模块。此外，该数据集启发了针对低资源语言的跨语言迁移工作，如阿拉伯语的类似基准构建，验证了配对设计在形态复杂语言中的通用性。在学术评价中，其pair_id追踪机制已成为评测可复现性的新标准，被ACL安全论坛引用作为数据集构建方法论范例。