squeeze-ai-lab/TinyAgent-dataset

TinyAgent数据集包含40,000个真实生活中的用例，用于训练小型语言模型(SLMs)，以实现在边缘设备上的复杂推理和函数调用能力。该数据集通过GPT-3.5-Turbo生成真实世界的指令，并利用GPT-4-Turbo生成合成执行计划，以支持模型的精细调整和优化。TinyAgent数据集包含40,000个真实生活中的用例，用于训练小型语言模型(SLMs)，以实现在边缘设备上的复杂推理和函数调用能力。该数据集通过GPT-3.5-Turbo生成真实世界的指令，并利用GPT-4-Turbo生成合成执行计划，以支持模型的精细调整和优化。

原始信息汇总

TinyAgent: Function Calling at the Edge

TinyAgent 旨在为小型语言模型（SLMs）提供复杂的推理和函数调用能力，这些模型可以安全、私密地部署在边缘设备上。传统的巨型语言模型（LLMs）如 GPT-4 和 Gemini-1.5 虽然强大，但通常太大且资源密集，不适合边缘部署，存在隐私、连接性和延迟方面的挑战。TinyAgent 通过训练专门的高质量、精选数据 SLMs，并专注于函数调用，解决了这些挑战。

模型开发者： 加州大学伯克利分校的 Squeeze AI 实验室。

模型变体： TinyAgent 模型有两种大小：TinyAgent-1.1B 和 TinyAgent-7B。

许可证： MIT

训练详情

数据集： 我们精心策划了一个包含 40,000 个真实使用案例的数据集。我们使用 GPT-3.5-Turbo 生成真实世界的指令，然后使用 GPT-4-Turbo 获取合成执行计划。

微调过程： TinyAgent 模型从基础模型微调而来。以下是每个 TinyAgent 模型及其基础模型的对照表：

模型	成功率
GPT-3.5-turbo	65.04%
GPT-4-turbo	79.08%
TinyLLama-1.1B-32K-Instruct	12.71%
WizardLM-2-7b	41.25%
TinyAgent-1.1B + ToolRAG / [hf] [gguf]	80.06%
TinyAgent-7B + ToolRAG / [hf] [gguf]	84.95%

我们使用参数高效的微调方法 LoRA，对基础模型进行 3 个周期的微调。

🛠️ ToolRAG

面对挑战性任务时，SLM 代理需要适当的工具和上下文示例来指导它们。TinyAgent 使用 ToolRAG 来检索最适合给定查询的工具和示例，这一过程具有最低的延迟并显著提高了 TinyAgent 的准确性。

搜集汇总

数据集介绍

构建方式

在边缘计算场景下，小型语言模型（SLM）因资源受限而难以直接调用复杂功能。为此，TinyAgent数据集应运而生，旨在为SLM提供高质量的函数调用训练数据。该数据集包含40,000个真实用例，首先利用GPT-3.5-Turbo生成贴近实际需求的指令，继而借助GPT-4-Turbo为每条指令合成对应的执行计划，从而构建起指令与函数调用之间的映射关系。这一合成数据生成流程确保了数据集的规模与多样性，为后续模型微调奠定了坚实基础。

特点

TinyAgent数据集的核心优势在于其高度的专业性与实用性。它专注于函数调用任务，覆盖了如邮件撰写、联系人管理、日历安排及Zoom会议组织等日常MacOS应用场景，使SLM能够像大型模型一样执行复杂推理。数据集结合了ToolRAG机制，可在推理时检索最相关的工具描述与上下文示例，有效减少模型幻觉与不必要的提示占用。此外，该数据集支持1.1B和7B两种参数规模的模型，兼顾了部署效率与性能表现。

使用方法

使用TinyAgent数据集时，开发者可基于HuggingFace平台直接下载，并通过GitHub仓库获取详细的使用指南。数据集适用于微调小型语言模型，推荐采用参数高效的LoRA方法进行3个epoch的训练。在实际应用中，可结合ToolRAG检索模块，为模型动态提供最合适的工具与示例，从而提升函数调用的准确性。用户既可通过编程接口调用模型，也可借助提供的桌面应用程序进行交互体验。

背景与挑战

背景概述

TinyAgent-dataset由加州大学伯克利分校Squeeze AI Lab于2024年创建，聚焦于在边缘设备上部署具备复杂推理与函数调用能力的小型语言模型（SLM）。传统大型语言模型如GPT-4虽性能卓越，却因资源需求高、隐私风险及延迟问题难以在边缘场景落地。该数据集包含40,000个真实用例，通过GPT-3.5-Turbo生成指令、GPT-4-Turbo合成执行计划，旨在训练专用SLM以驱动MacOS应用自动化任务（如邮件撰写、日程管理）。其研究核心在于验证高质量数据与参数高效微调（LoRA）能否弥合SLM与LLM在函数调用上的性能鸿沟，为边缘AI的实用化开辟新路径。

当前挑战

当前挑战集中于三大维度：其一，领域问题层面，SLM在函数调用任务中易因工具与示例不匹配产生幻觉，且边缘设备算力限制要求模型在极低延迟下完成多步骤推理与工具选择；其二，构建过程中，合成数据依赖GPT-4生成执行计划，可能引入噪声或偏差，需确保40,000条指令的多样性与现实任务覆盖率；其三，部署阶段，模型需在有限提示空间内动态检索（如ToolRAG）最佳工具与上下文示例，同时平衡精度与计算开销，避免因冗余信息干扰决策。

常用场景

经典使用场景

TinyAgent-dataset的核心经典使用场景在于为小型语言模型（SLM）提供高质量、精细化的函数调用训练数据，使其能够在资源受限的边缘设备上实现复杂推理与任务执行。该数据集包含约4万条真实世界用例，涵盖邮件撰写、联系人管理、日历调度及Zoom会议组织等日常操作，通过合成指令与执行计划，专门用于微调诸如TinyAgent-1.1B和TinyAgent-7B等轻量级模型，从而在隐私保护、低延迟和离线环境下替代传统大型语言模型（LLM）的功能。

衍生相关工作

该数据集衍生出多项关键工作，其中最著名的是ToolRAG检索增强机制，它通过动态检索与当前查询最匹配的工具和上下文示例，有效减少了无关信息导致的幻觉问题，并将模型准确率提升至80%以上。此外，基于TinyAgent-dataset的研究催生了LLMCompiler框架的优化，以及TinyAgent-1.1B和TinyAgent-7B两个系列的发布，为后续SLM在函数调用与边缘推理领域的探索提供了模型权重与GGUF量化版本，推动了从学术验证到工业落地的完整链路。

数据集最近研究

最新研究方向

TinyAgent数据集聚焦于在边缘设备上实现小语言模型（SLM）的复杂推理与函数调用能力，这是当前大语言模型（LLM）轻量化与隐私保护研究的前沿方向。该数据集包含4万条真实用例，通过GPT-3.5生成指令、GPT-4合成执行计划，并采用ToolRAG机制动态检索最优工具与上下文示例，显著提升了SLM在资源受限环境下的准确率（如TinyAgent-7B达84.95%）。这一研究呼应了边缘计算与设备端AI的热潮，为MacOS等桌面应用的自动化任务（如邮件撰写、日程管理）提供了安全、低延迟的解决方案，推动了函数调用在私有化部署中的实际应用，具有重要的技术示范与产业意义。