7.2 工业级基准测试全景：SWE-bench、WebArena 与 GAIA

本节要点：全景透视代表当今 AI Agent 最高技术试金石的“三大工业级基准测试”：软件工程圣殿 SWE-bench、真实网络与系统操纵标尺 WebArena / OSWorld、以及通用复杂任务基准 GAIA；剖析构建可复现自动化沙盒评测环境的工程难点与防污染红线。

1. 试金石体系：衡量 Agent 真实战斗力的大基准

评测大模型的“做题”能力看 MMLU 或 GSM8K；而评测一个具备手脚的智能体（Agent）在真实世界的“干活”能力，则依赖更具物理复杂度的基准测试体系：

2. 软件研发圣殿：SWE-bench 深度拆解

SWE-bench 是由普林斯顿大学于 2023 年底推出的划时代基准，它彻底终结了“用简单 LeetCode 刷题来评估代码能力”的虚假繁荣：

为什么 SWE-bench 极其残酷且真实？

1. 代码体量庞大：项目往往包含数万至数十万行代码，Agent 无法一次性读入上下文，必须自主使用 grep 与文件树检索来定位几十个文件中的微小隐患；
2. 双重测试用例校验：
   • FAIL_TO_PASS：原先失败的测试，在打上 Agent 的补丁后必须成功跑通（证明修复了 Bug）；
   • PASS_TO_PASS：原先正常通过的历史数百个旧测试，在打上补丁后依然必须全部保持通过（证明没有破坏已有功能，无回归 Bug）；
3. 分水岭指标：
   • 2023 年底：GPT-4 裸奔得分仅 1.96%；
   • 2024 年中：结合专用 Harness 框架（如 SWE-agent、Aider）得分攀升至 15% ~ 25%；
   • 2025~2026 年：顶尖模型配合深度 ReAct 与代码自愈闭环，在 SWE-bench Verified 上突破 50%。

3. WebArena 与 OSWorld：多模态真实沙盒网络

传统的网页爬虫评测只是被动下载 HTML。而 WebArena 搭建了四个完整的真实离线服务：

• OneStopShop（基于 Adobe Magento 的全功能电商平台，带购物车、优惠券与结账流程）；
• GitLab 实例（真实的代码仓库、Merge Request 与 Issue 追踪）；
• Reddit 副本（Postmill 社交论坛）；
• OpenStreetMap（全功能交互地图导航）。

Agent 接收到如“在电商网站中找到价格低于 $50 且评价大于 4 星的蓝牙耳机，将其加入购物车并结算到填写地址页面”的任务，必须跨越登录、搜索、翻页、多条件勾选、表单填充等十几个动态交互节点。

4. GAIA：通用助手的终极珠峰

由 Meta、Hugging Face 等联合推出的 GAIA (General AI Assistants) 评测，专门针对真实人类在日常办公中提出的复杂复合难题：

📌 人类 vs. AI：人类专家在 GAIA 上的得分高达 92%，而未配置强大工具链的传统 LLM 得分通常不足 30%。GAIA 是检验系统工具调度与多模态整合能力最硬核的靶场。

5. 本节练习与反思