Engineering AI Agents
AI 智能体工程 · 中文学习站

吴恩达提出反思、工具使用、规划、多智能体协作四大 Agentic 设计模式,并指出迭代式 Agent 工作流的提升远超模型换代。

斯坦福团队构建自动化想法执行器,用进化搜索与 RL 从执行反馈中学习,发现搜索高效而 RL 因多样性坍缩难以提升上界。

伯克利 BAIR 博客指出最先进 AI 结果越来越来自多组件复合系统而非单一模型,并分析其动因、设计挑战与新兴工具范式。

Anthropic 提出「上下文工程」是提示工程的演进:上下文是有限资源,需为 Agent 策展最小高信号 token 集合并配合检索、压缩与记忆。

Anthropic 基于数十个客户项目的经验,总结增强型 LLM、五种工作流与自主 Agent 等可组合模式,主张从最简单方案做起。

提出"延迟交互"范式：查询与文档各自编码为 token 级嵌入后用 MaxSim 聚合打分，以 BERT 级效果换来数量级更低的延迟，并支持端到端检索。

RAG 开山之作：把预训练 seq2seq 生成器与 DPR 神经检索器端到端联合微调，在开放域问答等知识密集型任务上刷新纪录。

MCP 官方规范概览页全文中译：开放协议以 JSON-RPC 2.0 连接 Host/Client/Server 三角色，定义 Server 与 Client 双方能力及安全信任原则。

DSPy 把 LM 流水线抽象为文本变换图，用"签名 + 模块 + 优化器"替代手写提示模板，自动编译出超越人工提示工程的系统。

让 LLM 交错生成"思考"与"动作":推理引导行动、行动回馈证据。在 HotpotQA/FEVER 上克服幻觉与错误传播,在 ALFWorld/WebShop 上以 1-2 个示例分别超出模仿/强化学习 34% 与 10%。

提出 Mem0 及图记忆变体 Mem0g：从对话中动态抽取、整合与检索记忆，在 LOCOMO 上全面领先并大幅降低延迟与 token 开销。

Letta 团队系统讲解 Agent 记忆的分类（消息缓冲、核心/召回/归档记忆）与构建技术，并给出"记忆即上下文工程"的统一视角。

借鉴操作系统虚拟内存与分层存储思想，为固定上下文 LLM 构建可自我管理的记忆层级，实现长对话与长文档分析。

斯坦福小镇论文：以记忆流、检索、反思与规划架构驱动 25 个 LLM Agent 模拟可信人类行为，并涌现信息扩散与协作等社会动态。

首个多智能体失败分类法 MAST:14 种失败模式归入 3 大类,基于 1642 条标注轨迹,揭示 MAS 失败多源于系统设计而非模型本身。

把多智能体协作建模为时序前馈网络(T-FFN):先用"智能体重要性分数"无监督选出任务适配的精英团队,再让团队在动态通信结构(LLM 排序器中途淘汰低效智能体+拜占庭式早停)中协作,四类任务全面超越基线。

OpenHands 作者为"单智能体系统"辩护：多数多智能体系统的收益可以用一个强 LLM、一个统一动作空间和一套好提示实现，复杂度未必是好事。

微软开源的多智能体对话框架:可对话、可定制的智能体(LLM/人/工具混合后端)+ 对话编程范式,六个应用展示其在数学、RAG、决策、编码等任务上开箱即用的竞争力。

用自然语言反思替代标量奖励的策略梯度:GEPA 对复合 AI 系统的提示做反思式进化 + 帕累托候选选择,以最多 35 倍少的 rollout 平均超出 GRPO 6%,并在全部基准上超越 MIPROv2。

把 LM 程序的提示优化分解为"提议"与"信用分配"两大挑战,提出 MIPRO 优化器联合优化各模块指令与自举少样本示例,7 个任务中 5 个上取得最佳,并给出 5 条实践 lesson。

两种扩展测试时计算的机制(对 PRM 搜索、迭代修订)的有效性关键取决于题目难度;按难度自适应分配算力的"计算最优"策略可用 4 倍少算力超 best-of-N,FLOPs 对齐下胜过 14 倍大模型。

首次提出交替进行提示优化与权重微调来优化 LM 流水线:同一模型"自己教自己",在 3 任务 × 3 模型上,联合策略平均比仅优化权重/提示分别高出最多 60% 与 6%。

提出用生产数据持续改进 LLM 应用的"评估—监控—持续改进"三段式飞轮框架：定义二值指标、动态少样本对齐裁判、把修复过的线上轨迹喂回提示。

系统梳理 LLM 做数据标注/合成的三大环节——标注生成(指令/标签/理由/成对/文本反馈)、标注评估与过滤、标注利用(SFT/对齐/推理),并讨论模型坍塌、幻觉、伦理等挑战。

提出 EvalGen 混合主动式界面,让用户在生成评估标准与断言的同时打分,发现「标准漂移」现象:评估标准依赖具体模型输出、随打分不断演变。

通过向真实代码库注入合成 bug 并以单元测试验证,SWE-smith 用约 20 小时人力构建 5 万实例训练集,训练出 SWE-bench Verified 40.2% 的开源 SOTA 模型。

仅用 1,000 条精心筛选的提示-回复数据微调 LLaMa 65B,不依赖 RLHF,即可与 GPT-4 等强模型竞争,证明对齐主要是学习输出格式而非知识。

借鉴心理测量学的项目反应理论(IRT),从 MMLU 等 1.4 万级基准中精选 100 题,即可把 LLM 性能估计误差控制在约 2%,评测成本降低两个数量级。

SWE-bench 作者 Ofir Press 的基准设计经验谈:好基准应自然、可自动评测、有挑战,并附单一指标、强基线、任务数量等实操准则。

提出 Agent 基准检查清单 ABC,从任务有效性与结果有效性审计十大流行 Agent 基准,发现可致最高 100% 相对误差的缺陷,并用 CVE-Bench 示范修复使高估下降 33%。

"Anthropic 评测工程长文:系统讲解 Agent 评测的构成(任务/试验/评分器/轨迹/harness)、三类评分器、pass@k 与 pass^k,以及从零到一搭建可信评测的八步路线图。"

"提出 AutoMetrics 框架:以少于 100 条人类反馈为输入,自动生成并从 48 个指标的 MetricBank 中检索候选,经 PLS 回归合成与人类判断高相关(最高提升 33.4% Kendall τ)的可解释指标,并可充当代理奖励。"

"LLM-as-a-Judge 开山之作:提出 MT-Bench 与 Chatbot Arena 两大基准,系统研究 GPT-4 评审与人类偏好超 80% 的一致性,并分析位置、冗长、自我增强等偏差及缓解手段。"

"提出 AutoLibra:把「按钮禁用就别再点」这类开放式人类反馈落地到轨迹行为、聚类归纳为可解释指标,并以覆盖度/冗余度两个元指标自动优化,可反哺提示优化使 Agent 成功率提升 20% 以上。"

Anthropic 发布负责任扩展政策 RSP,以仿照生物安全等级的 ASL 框架要求模型能力越高、安全证明越严格,把灾难性风险管理嵌入训练与部署决策。

用带网络搜索的 LLM 智能体,仅凭访谈中对研究项目的自然语言描述就匹配出对应论文,24 篇访谈中 6 篇被成功重识别(含唯一确定身份),单次攻击成本不到 0.5 美元。

OpenAI 官方科普提示注入:攻击者借网页、邮件等第三方内容诱导 AI 越权行事,并给出多层防御与用户自护指南。

以上下文完整性理论为骨架,把隐私敏感种子扩展为情境、轨迹并评测 LM Agent 行为,发现 GPT-4 仍在 25.68% 的案例中泄露隐私。

提出 CDI 防御范式:轻量 instructor 模型在每步动作前生成上下文感知的隐私指引(而非静态提示或事后拦截),并用"失败轨迹即 RL 环境"的经验驱动优化(GRPO)训练,隐私保持 94.2%、有用性 80.6%。

把"隐私风险发现"当搜索问题:三智能体仿真中交替搜索攻击与防御指令,发现伪造同意、多轮冒充等攻击与身份验证状态机防御,可跨模型跨场景迁移;单次攻击 <0.5 美元。

Anthropic 官方总结的 Claude Code 使用最佳实践:从环境配置、验证闭环、上下文管理到并行扩展的完整工程方法论。

从 12 个流行 Python 仓库的 9 万个 PR 中筛出 2294 个"真实 issue + 测试验证"任务;发布时最强模型 Claude 2 仅解决 1.96%——编程智能体时代的标志性基准。

开源智能体开发平台(前 OpenDevin):事件流架构 + Docker 沙箱运行时 + 代码即动作(CodeAct)+ AgentSkills 工具库 + 多智能体委派,同一 CodeAct 智能体在软件工程、网页、辅助任务 15 个基准上零改动的通用表现。

提出"智能体-计算机接口(ACI)"概念:为 LLM 专门设计的搜索/查看/编辑命令 + lint 护栏 + 上下文管理,让 GPT-4 Turbo 在 SWE-bench 上从 3.8% 跃升至 12.47%,不改模型权重。

Anthropic 工程实践:让智能体跨多个上下文窗口持续数小时工作——初始化智能体(建特性清单/init 脚本/进度文件)+ 编码智能体(每次只做一个特性、留下干净状态、像人类一样端到端测试)。

提出 GUM 架构,从任意非结构化计算机交互(如截图)中推断带置信度的自然语言命题来表示用户,并用主动式助手 Gumbo 展示其应用。

形式化"下一动作预测(NAP)"任务,发布被动标注流水线 NAPsack(20 用户、1800 小时、36 万动作),并提出用 GRPO 端到端训练的 LongNAP 模型。

首个可扩展的真实计算机环境基准:369 个跨应用真实任务、可复现初始状态与执行式评估脚本;人类完成 72.36%,最强模型仅 12.24%。

构建含 118 万真实商品、1.2 万众包指令的模拟电商环境;IL+RL 智能体成功率 29%,远低于人类专家 59.6%,并可零样本迁移到真实购物网站。