测试 LLM 智能体团队中的可互换性

本文考察：当双智能体 LLM 团队的角色、基础模型和一般经验大致可比时，成员是否仍可互换，以及伙伴身份变化是否会影响任务结果、协调效率和轮换后的恢复过程。评价所针对的设置包含持久私人文本笔记、角色分工，以及 Collab-Overcooked 与 Hanabi 两类任务。

这里的核心测量困难，是把三种可能同时出现的影响分开：人员变动本身造成的扰动、一般任务经验的损失，以及与特定伙伴共同形成的协调惯例不匹配。研究还将任务表现与协调效率作为不同结果处理，并考察成员互换后两者是否以相同速度恢复。

因此，研究目标是在明确限定的双智能体协作设置中，对成员互换性进行可执行评估，而不是对所有团队、记忆设计、通信协议或任务环境提出普遍结论。

核心方法是受控的“swap test”。智能体先在独立团队中形成经验并保留持久私人笔记，随后交换角色匹配的成员及其笔记，同时保持模型、角色和大致相当的经验不变。不同条件承担不同的反事实功能：Intact 提供已形成团队的参照，Placebo 控制人员变动扰动，Swap 测量伙伴替换影响，Cleared 与 Amnesia 用于考察伙伴相关信息的作用，Naive 则提供无经验新成员基线。

该框架以 (V) 表示一般经验价值，以 (\Pi) 表示伙伴特异性残差，并以 (\rho=\Pi/V) 表示相对比例。相同的比较逻辑还用于协调成本，包括单位进展所需通信量，并进一步分析座位差异、消息类别、协议签名和交换后的连续回合。由此可以同时观察任务结果是否变化、额外协调负担出现在哪里，以及任务表现与通信效率如何恢复。

作者将协调成本残差解释为团队可能形成了针对特定伙伴的协调惯例。这仍是解释性主张，而非唯一确定的机制：笔记分类具有操作性，清除或删除笔记也可能同时改变智能体可用的上下文内容和长度。

在已测试范围内，评价报告了任务结果与协调效率之间的分离。成员互换对任务分数的影响较小，但单位进展通信成本增加约 16%–63%。在 Hanabi 中，交换后的协调成本高于无经验替代者。报告还指出，高耦合任务中的影响更大；不过，高低耦合比较同时伴随任务复杂度差异，因此不能单独据此确认耦合程度的因果效应。

协调负担并非均匀分布在团队成员之间。损失主要集中在发起计划的座位，额外通信主要由留下的成员发出，交换后的协议签名则向捐出成员的团队移动。这些结果描述了协调代价的分布，并支持区分“任务是否成功”和“为单位进展付出多少通信成本”。

恢复过程通过交换后的连续十轮进行监测，并相对于 Placebo 基线、以 1% 阈值比较恢复时点。评价报告称，任务分数早于协调效率恢复；也就是说，团队可能已经恢复任务表现，却仍承担较高的通信成本。冻结的进度评价认为，就当前范围而言，互换条件、反事实对照、结果和成本指标以及恢复跟踪已形成可执行的完整评估路径，但这不等于已证明其在更广泛部署中的效果或可迁移性。

尚未解决的首要问题是机制归因。观察到的互换残差与过时伙伴模型或伙伴特异性协调惯例不匹配相容，但也可能来自任务笔记内容、团队特有的执行状态或上下文长度变化。因此，清除笔记并不一定是只针对伙伴惯例的纯粹干预，因为它同时改变了可用文本并缩短了上下文。协议签名只测量表面行为，不能单独排除“表面协议相同但内部策略不同”的解释。

研究结果限于具有角色分工和持久私人文本笔记的双智能体设置，包括 Collab-Overcooked 与 Hanabi。现有材料未确定结果能否推广到三人以上团队、超过 20 次形成回合的历史、无伙伴笔记设计、固定通信协议、不同记忆设计或其他任务体系。高低耦合比较也不能被视为单独检验耦合程度因果效应的实验。

后续证据可采用长度匹配的中性文本、保持上下文长度的笔记替换、受控移动伙伴信息，并直接检验笔记内容变化与协调成本变化之间的对应关系。增加重复实验和延长恢复观察也有助于验证。上述问题限制了机制解释和外推范围，但不消除当前范围内关于任务结果恢复与协调成本恢复相互分离的报告。