电商与商超智能体怎么评？VitaBench把真实难题摆上桌

双 12 刚过，很多零售团队会发现一个尴尬事实：你明明上了“智能客服”“智能导购”“自动补货”，但一到高峰期、跨渠道、跨门店、跨品类的复杂场景，系统就开始“聪明但不靠谱”。我见过最典型的翻车是：用户在小程序问“今晚想吃清淡点、明天要早起”，智能体推荐了一堆重口夜宵；门店侧想做联动促销，智能体却在库存不足时仍强推爆款。

这类问题不是单点模型能力不够，而是智能体（Agent）在真实零售环境里要同时处理三件事：推理、工具、交互。这也是美团 LongCat 团队在 2025-11 发布 VitaBench 的意义：它不是又一个“问答正确率”榜单，而是把外卖点餐、餐厅就餐、旅游出行这些高频生活服务场景，做成可交互、可调用工具、可多轮对话的评测环境。对电商与新零售来说，这等于给“智能体落地”提供了一把更接近实战的尺子。

VitaBench到底在测什么：把“难”拆成三件事

VitaBench最有价值的一点，是它把智能体任务复杂度拆成三维：推理复杂度、工具复杂度、交互复杂度。这三维几乎可以直接映射到“人工智能在零售连锁与商超”里最常见的三类失败。

1）推理复杂度：信息多、变化快，还不一定看得全

在商超和连锁零售里，智能体做决策时常常面对：库存、价格、促销门槛、替代品关系、用户历史偏好、配送时效、门店营业时间……而且其中一部分信息是“隐含的”，需要问用户或查询系统才能获得。

VitaBench用“观测空间大小、部分可观测度、推理点数量”来量化这个难度。你可以把它理解成：

• 信息越多，越容易漏关键约束（比如用户忌口、门店缺货、配送时段）
• 越多信息需要通过交互才能拿到，越考验澄清能力（比如“你想今天送达还是明早？”）
• 推理点越多，越考验规划能力（先选品→再匹配优惠→再确认配送→最后下单）

对零售团队的启发：不要把“导购智能体”当成单轮推荐器。它更像一个在不完整信息下做计划的“执行型员工”。评测时必须覆盖“信息缺失 + 多约束”的任务，否则上线后必翻车。

2）工具复杂度：不是会调API就行，而是要会“串起来”

很多团队以为智能体落地=给模型接几个接口：查库存、查优惠、创建订单、改地址。现实是，真正的任务往往要走一条长链路：

用户要“适合糖控的早餐组合”→需要营养标签/配料→需要门店可售→需要替代品→需要满减凑单→需要配送时段→需要开票/企业采购规则。

VitaBench用“工具图”的方式表达工具依赖：节点是工具，边是依赖关系，并量化“图的大小与密度、调用链路长度、子图覆盖率”。他们在三个场景里抽象出 66 个工具，并在跨场景任务中形成更密集的依赖图。

对新零售的启发：

• 真正的评测不该只看“函数选择正确率”，而要看“端到端是否到达终态”（比如真的完成下单/改签/预约）
• 工具之间的规则（券叠加、库存锁定、拆单合单、同城/跨城配送）最好“编码进结构”，否则你会写出越来越长的政策文档，最后模型仍然会误解

3）交互复杂度：用户不是“标准输入”，而是会变、会烦、会反悔

门店导购最难的不是推荐商品，而是跟用户把需求“聊清楚”：

• 用户最初说“买点健康的”，聊着聊着变成“其实要送礼”
• 用户情绪急躁，拒绝回答太多问题
• 用户在多个渠道来回切换，信息碎片化

VitaBench用用户画像系统、行为属性建模、动态状态演化来模拟这种真实互动，并指出：一旦加入真实用户模拟器，模型成功率会下降 15–25 个百分点。这非常接近我们在零售场景的直觉：你以为模型会做事，结果它只会在“用户配合”的理想世界里做事。

评测结果给零售行业的一记警钟：最强模型跨场景也只有30%

VitaBench在主榜（复杂跨场景任务）里给出了一个很扎眼的数据：即便是表现最好的配置，跨场景 Avg@4 成功率也只有 30.0%；而单场景任务也不过 48.3%。

这意味着什么？如果你把智能体当作门店/电商运营的“自动执行器”，它在涉及跨系统、跨业务域的任务上，大概率做不完。

更值得警惕的是稳定性：

• Pass@4（四次里至少成功一次）可以到 60%
• 但 Pass^4（四次都成功）接近 0%

换成生产语言就是：它“偶尔能做对”，但你不敢让它在双 12、年货节、春节保供这种关键时期自动跑。

一句话总结：零售智能体当前最大的短板不是“聪不聪明”，而是“可不可信”。

把VitaBench方法迁移到商超：一套可落地的评测清单

零售连锁与商超团队最常问的是：我们又没有美团那样的工具生态，怎么用这种思路？我的建议是：不要纠结“完全复刻”，先把评测做成能指导迭代的“任务账本”。

1）先定义你的“跨场景任务”，别只测单点

零售里最典型的跨场景任务往往是：

1. 线上选品 + 线下履约：用户在App加购→选择就近门店→缺货换品→确认配送/自提
2. 导购 + 会员运营：导购问需求→匹配会员券→触发加购凑单→生成复购提醒
3. 营销 + 库存联动：活动报名→校验库存安全线→动态调整折扣→门店补货建议

评测时要明确“终态”是什么：比如“成功生成可支付订单”“成功生成补货单并通过审批”“成功给出可执行的门店排班建议”。没有终态的评测，最后都会变成“对话看起来不错”。

2）把工具当成“图”，用依赖关系约束智能体

你不需要一下子做 66 个工具，但你需要画出依赖：

• 查库存 → 才能承诺时效
• 锁库存 → 才能创建订单
• 计算优惠 → 需要用户等级/券包/门槛
• 替代品推荐 → 需要过敏原/配料/规格映射

做评测时，重点看两件事：

• 调用链是否合理（顺序、必要性、有没有绕路）
• 失败是否能自我修复（接口超时、缺少字段、权限不足时的回退策略）

3）用“Rubric”评估过程，而不是只比对最终状态

VitaBench提出的 Rubric（原子化评估准则）非常适合零售智能体。举个例子，“为用户生成一份低糖早餐周计划并下单”可以拆成：

• 是否主动确认忌口/预算/人数
• 是否过滤高糖单品并给出替代
• 是否解释推荐理由（可被销售复用）
• 是否正确使用优惠与凑单策略
• 是否在缺货时提供可接受的换品
• 是否完成下单到可支付状态

这样做的好处是：即使任务没完全成功，你也知道失败发生在哪一环，是推理、工具还是交互。

从评测到增长：为什么这会带来线索和ROI

对“人工智能在电子商务与新零售”这个主题来说，评测不是学术动作，而是增长前置条件。原因很现实：

• 推荐与导购：不稳定的智能体会直接伤转化，尤其在高客单、强约束品类（母婴、保健、酒水礼盒）
• 动态定价与促销：一旦推理链条出错，可能带来毛利损失或客诉风险
• 智能补货与仓配：工具链路长、约束多，最需要“端到端可执行”的可靠性

我更愿意把VitaBench这一类基准看作“零售智能体的验收标准”。当你能用三维复杂度去衡量能力，就能把产品路线从“做个会聊天的助手”改成“做个能交付结果的执行者”。

你的下一步：用三周做出一个“零售版VitaBench最小集”

如果你在做连锁商超、即时零售、电商平台的智能体项目，我建议用三周完成一个最小评测集（MVP）：

1. 第1周：选10个跨场景任务（每个任务定义终态 + 失败边界）
2. 第2周：接入10–20个关键工具（库存、价格、优惠、订单、会员、替代品）并画依赖图
3. 第3周：写Rubric并跑回归（每次模型/提示词/工具变更都跑一遍）

做到这一步，你就能回答一个最重要的问题：你的智能体离“可上线、可扩量、可托管”差在哪里。

年底复盘时，很多团队会把AI项目归因到“模型不够强”。我不太同意。更多时候，是我们没有用真实复杂度去训练和评测它。VitaBench把真实世界的难点拆开并量化，让这件事终于可操作。

如果要我留一句话给零售从业者：**别急着让智能体替你干活，先让它在真实规则下经得起考核。**你准备先从哪条跨场景任务开始？