全模态评测基准UNO-Bench：把电商AI从“能用”推到“可控”

双12刚过，很多电商团队会复盘同一个尴尬：模型上线后看起来“挺聪明”，但一遇到真实链路就开始掉链子——商品图里有遮挡、直播间口音重、客服对话一长就跑题、门店监控+语音的联合事件识别总是漏报。

我越来越确信，问题不只在“模型还不够大”，而在于缺少一套能把全模态能力讲清楚、量出来、对齐到业务目标的评测体系。2025-11-17，美团 LongCat 团队发布的 UNO-Bench，某种意义上就是在补这块“地基”：它把图像、音频、视频、文本放进同一套框架里评估，并把中文真实场景当成默认场景来设计。

对于“人工智能在科研与创新平台”系列来说，这类评测基准是典型的平台型基础设施：它让研发团队不再凭感觉迭代模型，而是用可复现的指标推动跨团队协作。对电商与新零售而言，它更直接——评测质量决定你是否敢把全模态智能接进推荐、内容、履约、门店等关键链路。

为什么电商全模态AI最容易“评不准”

结论先说：电商全模态系统的失败，往往不是模型没学会，而是我们没测到它没学会。

电商/新零售的数据是天然多源的：

• 图像：商品主图、细节图、买家秀、仓内拣货图
• 视频：直播切片、短视频、门店监控
• 音频：直播语音、门店对话、电话客服
• 文本：标题、属性、评价、客服记录、工单

难点在于：很多“看似多模态”的问题，其实单模态就能蒙对。比如视频+音频同步的场景里，画面已经把答案说完了；或者音频转写成文本后，视觉信息变成了可有可无。这种信息冗余会把评测变成“形式上的多模态”。

UNO-Bench 切中要害的一点是：它强调“跨模态可解性”，并通过模态消融去验证——移除任一模态就无法正确回答。其全模态样本中98%问题必须跨模态才能解，这对电商场景很现实：

• 直播间里“这件是xx码”要结合主播口播与画面尺码表
• 门店纠纷要结合监控画面与对话语气/内容
• 仓内拣货要结合语音指令与货架视觉定位

当评测能保证“必须融合”，你才能真正知道模型的融合能力，而不是知道它的转写能力或识图能力。

UNO-Bench做对了什么：一站式框架、中文场景、可解释拆解

先把关键事实摆出来（便于你内部转述）：UNO-Bench 以统一框架评估单模态与全模态能力，包含1250条人工标注全模态样本与2480个增强的单模态样本，覆盖44类任务；并通过严格质检与模态消融确保高比例跨模态可解。

1）能力体系不是“打个总分”，而是能定位短板

UNO-Bench 把能力拆成两层：

• 感知层：对象/属性/场景识别、空间关系、跨模态转换、语义理解、跨模态对齐等
• 推理层：常识/逻辑、空间推理（静态/动态）、时序推理、复杂推理等

这对电商团队特别有用，因为你可以把“业务故障”映射回能力短板：

• 推荐看起来不准：可能是属性识别或语义理解弱
• 直播切片打标乱：可能是时序推理弱
• 门店事件识别漏报：可能是跨模态对齐弱（画面和声音没对上）
• 客服质检误判：可能是复杂推理与长链路推理弱

换句话说，它让评测从“排行榜”变成“诊断报告”。

2）数据构建更像“实验室级生产线”，减少评测污染

电商最怕两件事：数据被训练集污染（测不出真实泛化），以及信息冗余（测不出融合）。UNO-Bench 的思路值得借鉴：

• 素材私有化原创比例高（超过90%），降低模型“见过题”的概率
• 关键音频由真人录制（20+真人、多口音），更像真实业务噪声
• 视听分离再组合：音频内容与视觉素材人工组合，逼迫模型融合，而不是“同步确认”

如果你在做电商全模态评测集，这三条几乎可以当作“底线标准”。

3）用多步开放式题（MO）逼出“真推理”

选择题对模型太友好：靠模式匹配也能拿分。UNO-Bench 引入 多步开放式问题（MO），把长链路任务拆成递进子问题，每步加权计分（满分10）。

这类题型对电商很贴：

• “先识别商品A与B差异→再判断哪个更符合用户需求→最后给出推荐理由”
• “先从直播音频确认关键口播→再从画面找到对应商品→最后输出结构化标签”

我在项目里见过的规律是：只要链路超过3步，很多模型会在第2步开始‘编’。MO 的价值就是把“编得像”与“推得对”分开。

对电商与新零售最有价值的发现：全模态能力遵循“组合定律”

UNO-Bench 给行业抛出一个很实用的结论：全模态能力不是单模态能力的线性相加，而更像乘积关系，并呈现幂律协同。

它给出的拟合公式（拟合度 97.59%）是：

POmni ≈ 1.0332 · (PA × PV)^2.1918 + 0.2422

你不必记住系数，但要记住两点业务含义：

1）短板效应：音频或视觉只要有一项弱，全模态就被拖住。电商里常见的是“视觉强、音频弱”或“转写强、对齐弱”，结果就是直播理解、门店对话辅助、语音工单都难以稳定。

2）协同增益区：当单模态都到一定水平后，全模态会“加速变好”。这解释了为什么某些团队觉得“升级一次视觉模型没啥变化”，但当音频/视觉/对齐一起补齐后，整体效果突然跳升。

对管理层沟通时，这句话很好用：“全模态不是多加一个模态就更好，而是把短板补齐才会出现协同。”

把UNO-Bench思路落到电商：3个可执行的评测方案

下面给三套“能落地”的做法，适合你把全模态评测接进电商AI研发流程（推荐、内容、客服、仓配都能用）。

方案一：用“模态消融”给业务指标做归因

做法：对同一任务分别跑三组评测：全模态、去掉音频、去掉视觉（必要时再去掉文本）。

你会得到一张非常清晰的归因图：

• 去音频掉分大：说明业务依赖口播/对话，应该优先提升音频理解、口音鲁棒与对齐
• 去视觉掉分大：说明依赖画面定位/细节，应该加强细粒度识别、遮挡鲁棒
• 去文本掉分大：说明模型更像在“读字”，要警惕多模态名存实亡

这比只看GMV/转化率波动更能指导迭代。

方案二：用“多步开放式题”替代“单一正确答案”

做法：把关键链路拆成3-5步，每步输出可核验的中间结果（比如商品ID、属性、时间点、动作、情绪、原因），最后再输出综合结论。

好处：

• 你能定位模型从哪一步开始失真
• 你能把错误类型沉淀成训练数据
• 你能更容易向业务方解释“为什么这次错了”

方案三：用“压缩评测集”做高频回归

UNO-Bench 提到通过聚类引导分层抽样，能在保持排名一致性前提下把评测成本降到原来的十分之一甚至更低。

电商团队特别需要这一点：大促前一周你不可能跑全量评测。我的建议是：

• 每周一次全量评测（覆盖面）
• 每天一次压缩回归评测（稳定性）
• 每次上线必须包含“跨模态可解”样本（防止退化成单模态）

这才是把评测变成工程能力，而不是论文能力。

选型与落地建议：别只问“开源还是闭源”，要问“推理在哪一层”

UNO-Bench 的实验结果给了一个很现实的判断：闭源模型整体仍领先，开源在追赶；更关键的是，差距主要在推理层，而不是感知层。甚至在顶尖模型上，感知已经接近人类专家，但推理仍落后。

映射到电商选型，我倾向于这样分层：

• 高风险决策链路（比如风控、纠纷判责、重大履约异常）：优先选推理更稳的方案，并强制多步可解释输出
• 低风险高频链路（比如内容理解、基础打标、相似商品聚合）：开源+定制化数据也能做得很强
• 全模态交互链路（直播理解、门店导购助手）：重点看跨模态对齐与长链推理，别被“单项高分”迷惑

一句话：感知决定你看到了什么，推理决定你敢不敢把它接进业务。

评测基准是电商AI的“科研平台化”：下一步该怎么做

把 UNO-Bench 放进“人工智能在科研与创新平台”的叙事里，它的价值不只是一个数据集，而是提供了平台化方法：统一能力体系、标准化数据生产、可复现的评测机制、可解释的诊断视角。

如果你正在推进电商全模态智能，我建议把 2026 年的路线图里明确写进两件事：

1. 建立企业内的“UNO-Bench式”评测中台：覆盖中文业务语料、口音、噪声、真实货品与真实场景
2. 把评测指标绑定到上线门槛：任何模型升级，必须通过跨模态可解样本与多步推理样本的回归

评测做扎实了，模型迭代才会从“试试看”变成“可控工程”。接下来更值得讨论的是：当全模态模型进入协同增益区，你的电商系统会先在哪个环节出现“性能跳变”——推荐、客服，还是履约与门店？