"AutoLibra:从开放式人类反馈归纳 Agent 评测指标"

导读

前三份材料分别回答了「能不能用 LLM 当评审」(Zheng2023)、「工业上怎么搭评测」(Anthropic 博客)与「如何从打分型反馈合成指标」(AutoMetrics)。本篇补上最后一块拼图:当人类反馈连「分数」都不是,而是「如果你发现按钮是禁用的,就别再点它」「这个 Agent 自主权太大了」这样的开放式自然语言时,如何把它变成可复用的评测指标?

AutoLibra 的思路源自社会科学中的主题分析(thematic analysis):先把每条反馈「落地(grounding)」为轨迹中的具体行为切面(aspect,行为-反馈-符号三元组),再把相似行为聚类成带定义、正例、反例的指标,交给 LLM-as-a-Judge 给轨迹打 +1/-1/N/A。最有创意的一步是「元评测」:用覆盖度(多少人类反馈切面能被指标命中)与冗余度(多少检出的特质是人类没提的)这两个元指标自动搜索最优指标集,让整个流程自验证、自优化。「作为透镜」一节展示它诱导出的指标比专家手工设计的失败分类更细;「作为阶梯」一节展示用诱导指标做提示优化,在 Baba-Is-AI 上不直接优化成功率却把成功率提升了 20% 以上。对于思考「Agent 评测的粒度应该多细」「评测指标能否随 Agent 进化」的同学,这是必读的方法论样本。

论文精读

摘要

Agent 目前主要通过任务成功率指标来评测与优化,这些指标粗粒度、依赖专家手工设计、无法奖励中间的涌现行为。论文提出 AutoLibra——一个 Agent 评测框架,能把开放式人类反馈(例如「如果你发现按钮是禁用的,就别再点它」「这个 Agent 自主权太大」)转化为评测轨迹中细粒度行为的指标。AutoLibra 的做法是:把反馈落地(grounding)到 Agent 的具体行为,聚类相似的正/负行为,再创建带有清晰定义与具体示例的指标,这些指标可用于提示 LLM-as-a-Judge 作为评审器。论文进一步提出两个元指标来评估一组(诱导出的)指标与开放反馈的对齐程度:「覆盖度(coverage)」与「冗余度(redundancy)」。通过优化这两个元指标,实验证明 AutoLibra 能诱导出比以往 Agent 评测基准更具体的指标,并发现可用于分析 Agent 的新指标。论文还展示 AutoLibra 在 Agent 改进上的两个应用:服务人类提示工程师迭代地诊断 Agent 失败并改进提示;以及为 Agent 自动优化诱导指标,使 Agent 通过自我调节(self-regulation)得到改进。结果表明 AutoLibra 是一个强大的、任务无关的 Agent 评测与改进工具。

1 引言

人类天然能从他人的开放式指令与反馈中习得技能,并将其内化为自我调节学习的信号。受此启发,论文研究 AI Agent 能否通过「可泛化指标的归纳」从开放式人类反馈中获益。

AutoLibra 从开放式人类反馈(可来自终端用户或专家)中诱导可解释的指标,这带来两点优势:(1) 对轨迹给出具体反馈比凭空创造指标容易得多;(2) 可以从用户视角评测 Agent。诱导出的指标为基于模型的评测提供了该关注哪些行为的具体定义,既可用于理解 Agent 行为,也可作为改进 Agent 的优化目标。

归纳过程借鉴社会科学中专家进行主题分析的编码步骤,设计为两步:反馈落地(feedback grounding)——把人类反馈的每个切面落地到轨迹中的某个行为;行为聚类(behavior clustering)——把切面聚成多个相似行为簇并总结成指标。如图 1 所示:用户给 Web Agent 的反馈「Agent 没有通过下拉框选 iPhone 14/15」被落地为「Agent 在下拉菜单中选了 iPhone 16 Pro Max」这一行为;相似行为聚成簇后总结为「元素交互准确性(Element Interaction Accuracy)」指标。

评测过程为归纳提供闭环:用诱导出的指标让 LLM-as-a-Judge 给轨迹打分,再把检出的特质(trait)与人类反馈切面匹配,得到覆盖度(多少切面能匹配上特质)与冗余度(多少特质没被人类提及)两个元指标,据此搜索「冗余最低、覆盖最高」的指标集。论文的三个研究问题:RQ1 AutoLibra 各步输出与人类判断的对齐程度;RQ2 AutoLibra 能否提供专家设计指标之外的洞察;RQ3 AutoLibra 能否为改进 Agent 提供优化信号。在协作 Agent(CoGym)、社交 Agent(Sotopia)、Web Agent(WebArena、WebVoyager)、文字游戏 Agent(Baba-is-ai、MiniHack)等多个领域的实验中,AutoLibra 在每数据集仅 80 条轨迹、每条 1 条反馈的条件下诱导出高覆盖低冗的细粒度指标;在 2D 文字游戏上以每阶段仅 18 条标注轨迹,三阶段使前沿 LLM 表现提升超过 20%。

2 AutoLibra 框架

AutoLibra 的三项设计目标:(1) 从 Agent 行为诱导——指标落地于轨迹而非专家预定义;(2) 自验证——能选出覆盖未见反馈、且抽象程度足以跨任务复用的最小指标集;(3) 可泛化——不依赖领域特定设计,适用于各种 Agent 环境。整个闭环由「归纳过程」与「评测过程」组成。

2.1 收集人类反馈

反馈来自两类人群:终端用户——对直接与人交互的 Agent(此处为 CoGym),使用该研究收集的用户评论,共 197 条带反馈的轨迹;专家——对不直接与人交互的 Agent,由五位论文作者作为标注者观察轨迹给反馈,涵盖 Sotopia、WebArena、WebVoyager、Baba-is-ai、MiniHack。每条轨迹只收集一条针对完整轨迹的反馈。标注者被要求明确指出行为的好坏切面,避免「Agent 很擅长解题」这类空泛评论;可通过终端或网页界面逐步查看 Agent 的观察与动作(文本形式)。对 Sotopia、WebArena、WebVoyager,每个数据集标注 100 条基于 GPT-4 的 Agent 轨迹;第 5 节实验每数据集每次迭代标注 18 条。标注很快:每条轨迹不足 5 分钟;随机留出 20% 轨迹作验证。

2.2 归纳过程

反馈落地。 一条反馈可含多个切面,例如 CoGym 的「AI 相当擅长给我一致的行程和度假计划,尽管最后几分钟它卡住了」包含一个关于行程一致性的正切面和一个关于卡死的负切面。论文定义切面(aspect)为三元组(行为,反馈,符号)。上例正切面中,行为是 Agent 为马尔代夫制定 20 天行程的动作,反馈是行程一致,符号为正。落地过程类似主题分析中的编码:把轨迹与反馈输入 LLM(试点实验中 GPT-4o 效果好),指示它(1)把反馈拆成要点;(2)为每个要点找到轨迹中对应的部分;再用受限解码强制 GPT-4o 按上述格式输出切面。实验中发现每条轨迹 LLM 通常生成一到五个切面,均值一到两个。

行为聚类。 第二步把切面分组为 N 个指标。例如「AI 快速响应并写好、跑通了 Python 脚本」是正切面,但与前例的负切面反映同一行为维度(响应速度)、只是符号相反。每个指标是一个切面簇,附有总结正行为标准的定义、正行为示例列表与负行为示例列表——类似主题分析中的主题归纳。统计聚类难以胜任(对 text-embedding-3-large 嵌入做 K-means 的簇基本按任务而非行为划分),故受 LLM 语义聚类与概念归纳方法启发,提示 LLM(选用 o3-mini high,因其后文评估的覆盖/冗余得分最准)聚类。给 LLM 的指令要求:分组粒度最小化,只有非常相似的行为才合并,但不局限于特定网站或特定角色——经验上这让指标既具体又能跨任务适用。

2.3 评测过程

用诱导指标评 Agent。 LLM-as-a-Judge 的成败取决于「评测/验证难度」与「生成/行动难度」之差;Agent 任务中策略模型要做多步决策而评审模型只需分类轨迹,差距大,故 LLM-as-a-Judge 在 Agent 评测中被广泛使用。AutoLibra 用诱导指标配置 LLM-as-a-Judge(选 o3-mini medium,结果与 high 相近),对每条轨迹每个指标输出 {+1, −1, N/A}:+1 的指标构成正特质,−1 构成负特质。计算指标得分时,用被评正的轨迹数除以被评正或负的轨迹数(忽略 N/A),因为并非所有指标适用于所有轨迹(如「有效搜索词」只在任务涉及搜索时适用)。评审器可替换为实现同一指标的任意方法(如规则检查器),生成评测程序留作未来工作。

元评测(meta evaluation)。 即评估 AutoLibra 诱导的评测指标:把 LLM-as-a-Judge 检出的特质与从人类反馈落地的切面匹配,验证(1)指标是否覆盖人类标注者关心的行为,(2)LLM-as-a-Judge 基于指标能否给出准确结果。例如若「响应及时」被提取为指标且评审与人类意见一致,该切面即算被成功覆盖;若相似指标未被提取、或评审打分不同,则算未覆盖。具体做法:把切面按符号分为正/负,特质按评分分为正/负,让 LLM(GPT-4o)为每个切面找最佳匹配特质或判定无匹配。覆盖度 = 所有实例中有匹配特质的切面占比;冗余度 = 所有实例中未匹配任何切面的特质占比。

3 优化与验证 AutoLibra

3.1 指标优化

优化归纳过程以最大化覆盖、最小化冗余(两者中优先覆盖)。做法:生成 20 组不同的指标集,指标数 N 从 4 到 13,计算覆盖度与冗余度;选出覆盖度不低于最高值减 1% 且冗余度最低的指标集;再以所选指标数为中心 ±2 重设 N 范围迭代,直至收敛(通常 3 轮内)。这一策略虽然简单,但包括遗传算法、迭代聚类在内的多种策略都没有更好的结果。图 3 显示最高覆盖度随 N 增加而上升、在 N=6 到 10 之间(依数据集)收敛;冗余度则随 N 增加而上升。Sotopia 的最佳覆盖度最低(60%,可能因任务多样),WebArena 与 WebVoyager 最高(88%);留出轨迹上的覆盖度只比用于归纳的轨迹差不到 5%。消融还表明正/负行为示例至关重要:去掉它们,CoGym 覆盖度最多下降 30%。

3.2 迭代指标归纳

把 AutoLibra 用于 Agent 优化时可迭代诱导新指标——Agent 改进后会发展出新的失败模式或新行为,这有利于跨迭代跟踪进展。做法上修改行为聚类步骤:向 LLM 提供既有指标与定义,要求不改动既有定义、只向既有指标添加新行为、必要时新增指标;并沿用同样的优化策略确保新指标覆盖涌现行为且与既有指标不重叠(类似软件开发中单元测试的累积,防止新功能干扰旧功能)。

3.3 各步与人类判断的对齐

由于每步都用 LLM,论文请人类专家逐步人工复核(行为聚类除外——让标注者处理并聚类 400 多个切面过于耗时),按是否完全正确打 1/0 分。每步每任务随机抽 40 个实例。结果(表 1):反馈落地平均一致率 0.95(±0.03),LLM-as-a-Judge 0.92(±0.04),元评测 0.90(±0.04)——各步各数据集平均都显著超过 0.85,说明 AutoLibra 的绝大多数输出按人类验证是可靠的(不同任务难度不同:WebVoyager 轨迹长、动作空间大,落地难;Sotopia 社交互动复杂,评审难)。

4 作为透镜:用 AutoLibra 评测 Agent

把 AutoLibra 当作观察 Agent 行为的透镜,与三个数据集上原作者启发式提出的评测维度 / 失败模式对比(表 2):

• CoGym:AutoLibra 从终端用户反馈诱导出 9 个指标,可与作者提出的 5 类失败(沟通、情境感知、规划、个性化等)对应;AutoLibra 测得的失败率(某指标得 −1 的频率)也与人工标注的类别失败率大致吻合——说明诱导指标能反映专家分类,并提供了自动化的失败度量。
• Sotopia:原论文为社交智能提出 7 个维度。AutoLibra 精确恢复了「目标完成(Goal Completion)」维度,并把「可信度(Believability)」拆成 3 个更具体的子维度指标——说明 Believability 过于高层。另有 4 个指标(如谈判策略与策略性适应、对话自适应灵活性)是原维度未覆盖的。原维度中「关系」「社会规则」捕捉了 AutoLibra 未覆盖的长尾行为,而「财务与物质收益」「知识」「秘密」等维度的行为多已被目标完成与可信度覆盖,故被 AutoLibra 通过最小化冗余合并掉了。
• WebVoyager:诱导出错误恢复与调整(15%)、步骤效率与动作冗余(13%)、导航准确性(11%)、访问障碍处理(2%)等指标,比以往工作简单归为「导航卡住」(44%)的失败分析细得多;还发现了失败分析未提及的高频指标,如查询与搜索策略效率(7%)和最终输出与总结质量(18%)。由于 AutoLibra 只观察行为、无法解读神经表征,它捕捉不到原论文提到的视觉接地问题(25%)——这恰好界定了行为中心的指标归纳的能力边界。

5 作为阶梯:用 AutoLibra 改进 Agent

既然 AutoLibra 能从人类反馈自动诱导指标,能否借此实现 Agent 的自我调节式改进?做法是朝着诱导指标的高分优化 Agent 提示。实验选用高难 2D 游戏 Baba-Is-AI(受《Baba Is You》启发,要求 Agent 不仅能遵循规则,还能操纵规则乃至自指规则:例如把 baba is you 改成 door is you 以控制门、再形成 ball is win 的新规则并走到球上获胜——既考验规划也考验元认知,对前沿 LLM 极具挑战)。

实验全程(包括 Agent、AutoLibra 与提示优化)统一使用 Gemini-2.5-Flash:该模型提交时在 Balrog 榜单 Baba-Is-AI 上排第三(成功率 50.8%±4.6%,当时 SOTA 为 56.7%±4.5%),是成本与性能的折中。流程:分 3 个阶段改进 Agent,每阶段前给标注者看 40 个任务中 6 个任务、每任务 3 条轨迹并收集反馈,跑迭代指标归纳——阶段 1、2 各诱导 5 个指标,阶段 3 再加 1 个;每阶段内,把这 6 个任务上每任务 1 条 LLM Agent 轨迹连同 AutoLibra 指标的评测结果喂给 LLM 改进 Agent 提示。

结果(图 4):不仅运行最大指标分与累计平均指标分持续提升,游戏成功率也持续上升直到阶段 3(仅在阶段 3 出现「想太多(overthinking)」的性能回落)——注意整个过程从未直接优化成功率,且优化只用 6/40 个任务。检查轨迹可见习得的技能:阶段 1 学会沿地图边界找规则(对应 map-n-constraint-recognition 指标),阶段 2、3 学会形成获胜条件与自指规则(对应 rule-manipulation-proficiency)。成功率整体提升 20% 以上。作者强调 AutoLibra 是与学习算法(提示优化、微调、强化学习)正交的指标归纳方法,未来可探索其他学习算法。附录中的 MiniHack 实验(GPT-4o-241120 作 Agent,4 个代表性任务迭代两轮)同样显示分数从 0% 升至 12.5% 再到 25%(基线 10%)。

6 相关工作

AutoLibra 统一三个领域:Agent 评测(SWE-Bench 用人工单元测试、Embodied Agent Interface 提供细粒度评测、τ-Bench 比较数据库状态、AgentRewardBank 评测 Web Agent 奖励模型;Galileo、Docent 等可视化失败模式;强化学习的内在奖励鼓励探索与技能发现——相比之下 AutoLibra 是纯数据驱动、任务无关、无预定义失败分类学的方法);从自然语言与人类反馈学习(Text2Reward 用代码生成把开放式反馈变成机器人奖励函数、从偏好/评分/示范反馈训练 Agent 等——AutoLibra 的差异在于从全部标注实例归纳可跨任务泛化的指标,同时服务于评测与优化);主题分析(LLooM 等自动概念归纳方法与本文最接近;AutoLibra 用元评测补全了概念归纳的闭环并将其应用于 Agent 评测)。

7 结论与未来工作 / 8 更大图景

AutoLibra 是最早探索「可适配的、从轨迹归纳的评测启发式」的工作之一,可泛化到多种 Agent 任务、提供行为新洞察、并构成强优化目标。三个未来方向:(1) 行为中心的评测——从端到端评测(类比「集成测试」)转向度量具体行为的细粒度指标(类比「单元测试」),并研究更好的人机协作;(2) 子轨迹级反馈——让用户直接对轨迹中的若干步反馈、或在交互进行中反馈;(3) 更多改进方法——用 AutoLibra 为单步提供稠密奖励并做强化学习。

「更大图景」一节将视野拉远:人类靠社会学习实现跨代知识积累;行为克隆要求教师在同一环境示范、且少量示范易让 Agent 误解何为恰当行为,而言语反馈对划定行为边界至关重要。AutoLibra 把人类日常交换的言语反馈系统性地用于改进 Agent 行为;更远的愿景是让 Agent 在真实环境中从大规模多样人类反馈中学习,从全体用户的集体经验中形成通用与专属技能;甚至反过来充当人类之间技能与文化传递的中介——把熟练用户的专长蒸馏为可解释指标与可行动反馈来指导新手,压缩学习曲线。

附录(略读):包含方法图解与 Ladder 算法伪代码、Baba-Is-AI 与 MiniHack 的规则/环境配置、各迭代指标得分表(如 MiniHack 的目标导航效率从 16.67% 升至 41.67%)、诱导指标完整示例、全部提示词,以及对 Agent 表现的定性观察(如 Agent 学会组装获胜规则但仍难以改变方块方向、理解方块会卡在墙边)。

要点速览

• 核心主张:任务成功率太粗、专家手工设计成本高、奖励不了中间涌现行为——应从开放式人类反馈(「按钮禁用就别再点」)自动归纳细粒度、可解释的 Agent 评测指标。
• 方法两步走(源自主题分析):反馈落地(切面 = 行为-反馈-符号三元组,GPT-4o + 受限解码)→ 行为聚类(o3-mini high 把切面聚成带定义、正例、反例的指标;统计聚类会按任务而非行为分簇)。
• 元评测是灵魂:覆盖度(人类反馈切面被指标命中的比例)+ 冗余度(检出特质中人类未提及的比例),二者搜索最优指标集,让框架自验证;最优指标数 N 收敛在 6-10。
• 量化结果:Sotopia 最佳覆盖度 60%、WebArena/WebVoyager 达 88%;留出集覆盖度仅差 <5%;去掉正/负行为示例会使覆盖度最多掉 30%;每条轨迹只需 1 条反馈、标注不足 5 分钟。
• 各步人类验证一致率高:反馈落地 0.95、LLM-as-a-Judge 0.92、元评测 0.90(均 >0.85);评审输出为 +1/−1/N/A 三值,得分按非 N/A 轨迹归一。
• 「作为透镜」:诱导指标比专家分类更细——CoGym 9 指标对齐 5 类失败且失败率吻合;Sotopia 把「可信度」拆成 3 个子维度并新增 4 个被忽视的维度;WebVoyager 把「导航卡住」细分为错误恢复、步骤效率、导航准确性等,并发现总结质量(18%)等新失败;但捕捉不到视觉接地这类内部表征问题。
• 「作为阶梯」:Baba-Is-AI 上以 Gemini-2.5-Flash 全流程,3 阶段、每阶段 18 条轨迹反馈、只用 6/40 任务优化提示,成功率提升 20% 以上且未直接优化成功率;阶段 3 出现「想太多」回落;MiniHack 上 0%→12.5%→25%。
• 设计原则:指标从行为诱导、自验证、任务无关;LLM-as-a-Judge 可替换为实现同一指标的任意评审器;迭代归纳时锁定既有指标定义、只增不改,类似单元测试的累积。
• 局限与展望:依赖行为观测而非内部表征;反馈粒度目前是整条轨迹一条(可扩展到子轨迹/交互中反馈);改进只探索了非参数的提示优化,未来可做稠密奖励 + RL。
• 与本周材料的呼应:与 Zheng2023 的 LLM-as-a-Judge(本文直接采用其评审范式)衔接,与 AutoMetrics 同解「评审标准从哪来」——AutoMetrics 用回归合成标量指标,AutoLibra 用聚类归纳行为指标并多了覆盖/冗余的自验证闭环。