WildClawBench

WildClawBench 是一个用于评估 AI 代理在真实环境中端到端任务执行能力的基准测试数据集。该数据集包含 60 个原创任务，覆盖六个主要类别：生产力流程、代码智能、社交互动、搜索与检索、创意合成和安全对齐。每个任务都设计用于测试 AI 代理在真实工作场景中的实际能力，如信息合成、多源聚合、代码库理解、多轮通信、网络搜索与本地数据协调、视频/音频处理等。数据集提供了一个隔离的 Docker 环境，包含 OpenClaw 实例和所有必要工具，确保任务的可重复性和隔离性。WildClawBench 旨在提供一个硬核、实用的评估平台，当前所有前沿模型的得分均低于 0.6，使得评分具有实际意义。WildClawBench is a benchmark dataset for evaluating the end-to-end task execution capabilities of AI Agents in real-world environments. This dataset contains 60 original tasks covering six main categories: productivity workflows, code intelligence, social interaction, search and retrieval, creative synthesis, and safety alignment. Each task is designed to test the practical abilities of AI Agents in real workplace scenarios, such as information synthesis, multi-source aggregation, codebase comprehension, multi-turn communication, web search and local data coordination, video/audio processing, etc. The dataset provides an isolated Docker environment that includes an OpenClaw instance and all necessary tools, ensuring the reproducibility and isolation of the tasks. WildClawBench aims to provide a rigorous and practical evaluation platform, and the scores of all current state-of-the-art models are below 0.6, making the scoring results practically meaningful.

搜集汇总

数据集介绍

构建方式

在智能体评估领域，现有基准测试多聚焦于孤立能力，难以反映真实场景中的端到端任务执行。WildClawBench应运而生，它巧妙地将智能体置于开源的OpenClaw个人AI助手环境中，利用真实工具（浏览器、命令行、文件系统、邮件与日历）构建了60项原创任务。这些任务覆盖生产力、代码智能、社交互动、搜索检索、创意合成与安全对齐六大类别，每项任务均由人工精心设计，且运行在独立的Docker容器中，确保评估的隔离性与可复现性。

特点

WildClawBench的核心特色在于其严苛的实战导向。它测试智能体在长达10至20分钟的多步骤工作流中的自主规划与工具编排能力，要求模型在10至60次工具调用中从容应对服务失败与信息冲突。该基准支持多模态理解，涵盖视频分析、图像生成与跨模态合成，并首创性地在同一任务套件上适配OpenClaw、Claude Code、Codex CLI与Hermes Agent四种智能体框架，从而分离模型能力与脚手架贡献。

使用方法

使用WildClawBench需先安装Docker并下载对应的镜像文件与任务数据，随后运行准备脚本以获取YouTube视频及模型权重。用户通过.env文件配置OpenRouter与Brave搜索API密钥，即可通过bash脚本启动评估，支持全类别并行运行或单任务调试。评估结果自动输出为结构化JSON，包含详细的评分、令牌消耗与执行轨迹，便于深入分析模型在各维度上的真实表现。

背景与挑战

背景概述

WildClawBench是由上海人工智能实验室（InternLM）团队于2026年5月发布的一项面向AI智能体的综合性基准测试。该数据集旨在解决当前智能体评估中普遍存在的碎片化问题——大多数基准仅测试单一能力（如函数调用、JSON解析），而WildClawBench则聚焦于端到端的真实任务执行能力。研究团队基于开源个人AI助手OpenClaw构建了实时的运行环境，精心设计了60项原创任务，涵盖生产力流程、代码智能、社交交互、搜索与检索、创意合成以及安全对齐六大类别。该基准测试的发布对智能体评估领域产生了深远影响，它首次在同一任务套件上支持四套不同的智能体框架（OpenClaw、Claude Code、Codex CLI和Hermes Agent），从而将模型能力与框架脚手架效应分离，为研究者提供了更为公平和可复现的比较基础。

当前挑战

WildClawBench所面对的领域挑战在于，现有智能体评估方法无法衡量模型在复杂、多步骤、真实环境中的自主工作能力。具体而言，任务要求智能体完成10至60次以上的工具链调用，在服务失败时自主恢复并调整策略，这远超传统基准的测试范畴。数据集构建过程中同样面临严峻挑战：首先，任务设计需确保每个任务的原创性与实用性，避免与现有基准重叠，这要求设计者深入理解真实用户场景中的痛点；其次，评估环境需要完全隔离且可复现，每个任务运行在独立Docker容器中，评估脚本在智能体执行完毕后注入，杜绝数据泄漏；此外，多模态任务的引入（如从45分钟足球比赛中剪辑高光片段、基于12张服装照片生成搭配图像）对视频理解、跨模态生成等能力提出了极高要求，而安全对齐任务则将有害指令深埋于正常文档中，考验智能体的对抗鲁棒性与安全边界意识。

常用场景

经典使用场景

WildClawBench作为面向AI代理的端到端评估基准，其最经典的使用场景在于全面衡量代理模型在真实、复杂环境中的综合任务完成能力。该数据集将代理部署于开源的OpenClaw个人AI助手环境中，通过60项精心设计的原创任务，涵盖从多轮邮件协调会议时间、从足球比赛视频中剪辑精彩片段，到阅读无文档代码库并编写推理脚本等跨模态、长周期、高难度的实际工作流。这种设计突破了传统基准仅测试单一函数调用或JSON解析的局限，要求代理自主规划、链式调用十余至数十个工具、在服务失败时进行错误恢复，并最终输出可验证的实质成果，从而为评估前沿模型的自主性与鲁棒性提供了严苛且逼真的试验场。

解决学术问题

在学术研究领域，WildClawBench精准回应了当前AI代理评估中存在的碎片化与模拟化困境。传统基准多聚焦于孤立能力，难以反映代理在真实部署中的端到端表现，导致模型能力与实用效能之间出现显著鸿沟。该数据集通过整合代理性、多模态理解、长程规划、代码编写与安全对齐六大核心维度，首次在同一任务套件下实现了对代理全链路能力的系统性量化。其引入的四套代理框架（OpenClaw、Claude Code、Codex CLI、Hermes Agent）对比机制，更使得研究者能够剥离模型能力与框架脚手架的影响，深入剖析性能瓶颈的根源。这一设计不仅为代理系统的可复现评估树立了新标杆，也推动了学界对代理自主决策、跨模态协同及安全鲁棒性等关键科学问题的深入探讨。

衍生相关工作

WildClawBench的发布催生了一系列重要的衍生工作与学术贡献。其技术报告详细披露了19款前沿模型在60项任务上的完整表现，揭示了即使最强模型（如Claude Opus 4.7）整体得分也仅达62.2%的严峻现实，这直接激励了后续针对代理规划与错误恢复能力的专项研究。数据集所提供的四套代理框架对比结果，为Hermes Agent等开源框架的性能优化提供了明确方向，并推动了OpenClaw等个人AI助手生态的迭代发展。此外，其任务模板与可复现的Docker化评估流程，已被腾讯混元等工业级模型作为官方评测标准引用，促进了跨机构间评估基准的统一。围绕该数据集，学术界还涌现出关于多模态长程推理、无文档代码理解及提示注入防御等细分方向的新方法，形成了以WildClawBench为核心的研究网络。