AryaYT/nl2shell-terminal-bench

NL2Shell Terminal-Bench Trajectories 是一个包含原始合成多步终端工程任务的数据集，其任务类别分布与 Terminal-Bench 基准测试一致，并打包为监督微调（SFT）轨迹。每个任务都是一个完整的“思考→命令→验证”轨迹，用于在定义的环境中解决真实的终端/shell问题。数据集旨在用于小型、可CPU部署的模型的SFT和推理蒸馏，这些模型将自然语言任务转换为正确的shell命令序列。任务覆盖软件工程、系统管理、安全、数据科学、调试、文件操作等多个领域，每个任务包括指令、环境设置、多步解决方案和验证命令。数据集已针对Terminal-Bench进行去污染处理，不包含基准测试任务，但模拟其风格和类别分布以促进模型泛化。

NL2Shell Terminal-Bench Trajectories is a dataset of original synthetic multi-step terminal engineering tasks, with a task category distribution matching that of the Terminal-Bench benchmark, and is packaged as supervised fine-tuning (SFT) trajectories. Each task forms a complete "thinking → command → validation" trajectory for resolving real-world terminal or shell problems within a predefined environment. The dataset is designed for supervised fine-tuning (SFT) and inference distillation of compact, CPU-deployable models that translate natural language tasks into accurate shell command sequences. Tasks span multiple domains including software engineering, system administration, cybersecurity, data science, debugging, and file operations, with each task containing instructions, environment setup procedures, multi-step solutions, and validation commands. The dataset has been decontaminated against the Terminal-Bench benchmark, so it does not include any of the benchmark's tasks, yet replicates their style and category distribution to facilitate model generalization.

原始信息汇总

数据集名称

NL2Shell Terminal-Bench Trajectories

核心描述

一个原创合成多步骤终端工程任务数据集，旨在用于对小型、可部署在 CPU 上的模型进行指令微调（SFT）和推理蒸馏，将自然语言任务转化为正确的Shell命令序列。该数据集已针对Terminal-Bench基准进行去污染，不包含基准测试任务。

任务类型

• 任务：文本生成（Text Generation）
• 模态：文本（Text）
• 格式：json
• 语言：英语（English）
• 标签：terminal, shell, agentic, command-line, distillation, terminal-bench

数据规模与划分

• 总行数：7,509 行
• 训练集 (train)：6,781 行
• 验证集 (validation)：728 行
• 快照日期：2026-05-30
• 文件大小：104 MB

数据格式

数据集包含以下文件：

• tb_train_sft.jsonl 和 tb_val_sft.jsonl：用于指令微调的消息格式对话行，每行是一个JSON对象，包含一个“messages”列表，由系统提示、用户指令（任务+环境）及助手响应（逐步推理、Shell命令、验证）构成。
• tb_all_sft.jsonl：完整的SFT合并集（训练+验证，共7509行）。
• tb_synth_raw.jsonl：SFT格式化前的原始结构化任务样本，包含category, difficulty, tags, instruction, environment, solution_steps, verification等字段。

生成方式

任务由Gemini模型通过pydantic-schema约束的结构化输出生成。使用固定模式（类别、难度、标签、指令、环境、解决方案步骤、验证）确保每个任务格式良好，包含可执行的环境设置和可验证的检查步骤，随后渲染为SFT格式的轨迹。

去污染措施

• 金丝雀字符串拒绝：拒绝包含Terminal-Bench金丝雀字符串的生成任务。
• 8-gram重叠拒绝：检查每个生成指令与Terminal-Bench真实任务指令的8-gram重叠，拒绝重叠任务。
• 最终结果在类别分布和难度上模拟Terminal-Bench，但不包含其实际任务。

覆盖领域

• 软件工程（构建修复、配置修复、代码调试）
• 系统管理（服务、权限、进程、打包）
• 安全（审计、加固、秘密处理）
• 数据科学/数据处理
• 调试与故障排查
• 文件操作与Shell脚本

预期用途

• 小型Shell命令模型的指令微调
• 自然语言到Shell命令翻译的推理蒸馏
• 训练紧凑、可部署在CPU上的终端助手

局限性

• 任务为合成数据（由Gemini生成），解决方案轨迹和验证命令未经逐条端到端执行。
• 类别/难度组合反映生成配置，可能随语料库增长而变化。
• 去污染仅针对公开的Terminal-Bench任务指令，不保证与其他基准无重叠。

许可

Apache-2.0

搜集汇总

数据集介绍

构建方式

该数据集通过基于pydantic架构约束的Gemini模型生成，确保每一条数据都包含类别、难度、标签、指令、环境、解决步骤和验证命令等完整字段。生成的结构化数据进一步转化为消息格式的监督微调轨迹，形成包含思考过程、具体命令和结果验证的多步骤对话序列。此外，数据集通过canary字符串和8-gram重叠检测进行去污染处理，确保不包含Terminal-Bench基准测试的原始任务。

特点

数据集涵盖了软件工程、系统管理、安全审计、数据科学、故障排查和文件操作等多种终端工程任务，每个任务都包含自然语言指令、环境配置、多步骤解决方案轨迹和验证命令。数据以监督微调格式组织，特别设计了系统提示语以引导模型进行逐步推理，同时提供了原始结构化数据供灵活使用，兼具训练适配性和结构可解释性。

使用方法

数据集可直接用于小规模终端命令模型的监督微调和指令调优，尤其适合训练面向自然语言到Shell命令转换的紧凑型、CPU可部署终端助手。用户可以使用预划分的训练集和验证集进行标准微调，也可利用完整合并文件自定义数据划分。此外，原始结构化数据支持构建替代训练格式，便于进行推理蒸馏和任务结构分析。

背景与挑战

背景概述

自然语言到Shell命令的自动翻译是编程语言处理与系统管理交叉领域的重要研究方向，旨在降低终端操作门槛并提升自动化运维效率。NL2Shell Terminal-Bench Trajectories数据集由Laude Institute于2026年5月创建，包含7509条合成多步骤终端工程任务轨迹，覆盖软件工程、系统管理、安全审计、数据处理等核心场景。该数据集以Terminal-Bench的类别分布为蓝本，通过监督微调轨迹形式组织，专为小型CPU可部署模型的指令调优与推理蒸馏设计。其核心价值在于提供去污染的高质量训练数据，推动了轻量级Shell命令生成模型的研发进程，对终端智能化领域具有重要影响。

当前挑战

该数据集所解决的领域挑战主要包括：自然语言指令到精确Shell命令序列的自动映射，需处理任务歧义性、环境依赖性和多步骤执行逻辑；同时应对终端操作的高安全要求，避免误操作风险。在构建过程中，关键挑战包括：如何通过结构化生成框架（pydantic-schema约束）确保合成任务的环境可执行性与验证命令的有效性；如何利用8-gram重叠检测与金丝雀字符串机制彻底排除Terminal-Bench基准任务的污染；以及如何平衡类别分布与难度层次，使训练数据在泛化性能与场景覆盖之间取得最优均衡。

常用场景

经典使用场景

NL2Shell Terminal-Bench Trajectories 数据集的核心用途在于为终端命令行任务的自然语言理解与生成提供监督式微调（SFT）与推理蒸馏训练资源。该数据集包含7509条精心构造的多步骤终端工程任务轨迹，每条轨迹完整呈现了从自然语言指令出发，经过逐步推理、生成Shell命令，直至执行验证的闭环过程。研究者可利用该数据集训练小型、可部署于CPU的模型，使其具备将复杂自然语言描述转化为正确Shell命令序列的能力，尤其适用于资源受限环境下的智能终端助手开发。

解决学术问题

该数据集针对性地解决了自然语言处理与系统操作交叉领域中的关键学术难题：如何让语言模型准确理解并执行结构化的终端操作任务。传统方法往往依赖于手工规则或大规模预训练，但缺乏对多步骤、环境可变的终端工程任务的系统性支持。NL2Shell提供了涵盖软件工程、系统管理、安全审计、数据科学等八大类别的合成任务，并通过去污染处理确保与基准测试集Terminal-Bench无重叠，从而为学术研究提供了一个干净、可控的训练与评估资源，推动了面向命令行交互的推理与规划能力研究。

衍生相关工作

该数据集的发布催生了一系列相关研究工作，重点集中在三个方向：其一，基于蒸馏技术的轻量级Shell命令模型开发，通过将大模型（如Gemini）生成的推理轨迹压缩至小规模参数模型，实现高效终端任务求解；其二，多步骤推理与验证框架的构建，利用数据集的逐步推理特性，研究如何提升模型在长链条任务中的准确性与可解释性；其三，跨任务泛化能力分析，探索模型在软件工程、系统安全等不同终端领域间的知识迁移效果。这些工作共同推动了自然语言到命令行指令翻译技术的实用化进程。