用SEPO优化离散扩散模型：让物流决策更准、更快、更稳

年末旺季最怕的不是“忙”，而是“乱”：仓库拣货波峰波谷、车辆排线临时改、到货时间一再漂移，最后客服、运营、车队一起“救火”。我见过不少团队在复盘时把原因归结为“数据不够”或“模型不够大”，但多数情况下真正卡住的是另一件事：模型会预测，却不会按业务目标做取舍。

NeurIPS 2025 一篇研究《Fine-Tuning Discrete Diffusion Models with Policy Gradient Methods》给了一个很有意思的方向：把**离散扩散模型（Discrete Diffusion Models）和策略梯度（Policy Gradient）**结合起来，用一种名为 SEPO（Score Entropy Policy Optimization）的方法，在奖励不可导的情况下也能高效微调模型。论文讨论的是离散生成任务，但把它放到“人工智能在物流与供应链”的视角里，你会发现它非常像我们在做的事：对路线、库存、波次、排产这些离散决策进行持续优化。

这篇文章属于「人工智能在科研与创新平台」系列，我想用更工程化的语言讲清楚：SEPO这类方法为什么值得供应链团队关注、能落到哪些场景、以及如何从0到1做一次可控的试点。

离散扩散模型为什么适合供应链的“离散决策”

结论先放这：离散扩散模型擅长生成“结构化的离散方案”，而供应链里大量决策正是离散的。

传统预测模型更像“算一个数”，例如未来7天销量、明天到货量；而供应链真正难的是“给一套方案”，例如：

• 这批订单要分几波拣、每波怎么分区、先拣哪些SKU
• 这100个站点今天怎么排线、每条线路包含哪些点、发车时刻如何定
• 这个仓库补货单怎么拆分、何时下单、每次下多少

这些输出不是连续值，而是序列、集合、组合、图结构，属于典型的离散结构。离散扩散模型的思路是：从“噪声/随机的离散状态”出发，逐步“去噪”生成更合理的结构，最终得到一份可执行方案。

从“预测”到“生成”：业务价值差在最后一公里

我更愿意把离散扩散模型理解为一种“方案生成器”。在物流里，很多优化问题（VRP、装箱、波次拆分、排班）不仅要可行，还要在多个KPI之间权衡。扩散模型能提供多个候选解，再由业务规则或评估器筛选。

但问题来了：如果不微调，它生成的方案不一定符合你的KPI偏好。这就引出策略梯度与SEPO。

策略梯度微调的难点：奖励不可导、成本高、还容易不稳定

结论：供应链的优化目标往往是“黑盒奖励”，这让常规的端到端训练很难。

在RLHF里，策略梯度用于让模型更符合偏好；在供应链里，我们也经常需要“偏好对齐”，只不过偏好不是人类打分，而是业务KPI：

• 准时率（OTD/OTA）
• 总成本（里程、油耗、过路费、外协费）
• 仓内效率（人效、峰值压力、堵点概率）
• 库存健康度（缺货率、周转天数、滞销占比）

这些KPI通常来自：

1. 仿真器（离散事件仿真、运力仿真、仓内仿真）
2. 优化器（求解器输出的成本）
3. 规则引擎（可行性与惩罚项）
4. 真实线上指标（需要等待反馈，且噪声大）

它们共同特点是：不可导、延迟、且计算贵。直接用传统策略梯度做微调，容易遇到三件事：

• 方差大：训练忽上忽下，收敛慢
• 采样成本高：每次评估都要跑仿真或求解
• 约束难：稍微偏一点就生成不可执行方案

论文提出的 SEPO 核心价值就在于：在离散扩散模型的“逐步生成”框架下，设计更高效、更稳定的策略优化方式，让模型能在黑盒奖励下也能学得动。

SEPO能给物流与供应链带来什么：把“好方案的偏好”写进模型

结论：SEPO这类方法让你用KPI当奖励，对离散生成模型做“偏好微调”，从而持续逼近业务最优。

先用一句人话概括SEPO的思路（不抠公式）：

让模型既要生成高分方案（高奖励），又要保持足够的多样性（熵），避免一条路走死；同时用“score”类信息让优化更稳。

这对供应链特别重要，因为你不可能只追一个目标。

典型应用1：AI路线优化（离散排线）

路线优化最像论文里的“离散生成任务”。你可以把“线路=站点序列/集合”，把奖励定义为：

• 成本项：总里程、总时长、车辆数
• 服务项：超时惩罚、时间窗违约惩罚
• 风险项：拥堵概率、异常站点惩罚

用SEPO类的策略优化做微调，实际产出会更接近“运营愿意用”的方案：

• 不只是里程最短，还会规避高风险路段
• 在旺季更偏向准时率（惩罚迟到更重）
• 在淡季更偏向成本（车辆数与里程权重更高）

更关键的是：权重变化不必重做整套模型，只需要继续微调。

典型应用2：需求预测与库存策略（离散补货/订货）

很多团队把需求预测做得很好，但一到订货就翻车，因为订货是“离散动作”：订/不订、订多少、订哪几个SKU组合、补到哪个阈值。

离散扩散模型可以生成“订货单/补货批次”，奖励用库存KPI定义：

• 缺货率惩罚（尤其是核心SKU）
• 滞销惩罚（库龄、过期风险）
• 现金占用惩罚（周转天数）

SEPO类方法的意义是：把预测误差从“唯一目标”升级为“业务收益最大化”。有些场景下，预测误差下降1%带来的收益远不如缺货下降0.5%——奖励函数能直接表达这种现实。

典型应用3：仓库波次与拣选策略（离散分组与排序）

波次拆分、任务分配、拣选路径，本质都是组合优化。

可以把一个波次视为“订单集合的划分”，奖励来自：

• 峰值人力惩罚（避免某时段爆仓）
• 行走距离/拥堵惩罚
• SLA违约惩罚

对很多仓库来说，“最优”不是某个静态解，而是每天随着订单结构变化调整。离散扩散+策略优化更像“可持续迭代的策略”，而不是一次性求解。

从论文到落地：一个可执行的试点路径（8周版本）

结论：先用仿真/回放当奖励，把风险关在沙盒里；再小流量上线，逐步闭环。

下面是我更推荐的试点打法，适合想要做LEADS的供应链科技团队：短周期、可验收、能复制。

第1-2周：把“奖励函数”写清楚（比选模型更重要）

别急着选架构，先把奖励做成可计算的函数。一个可落地的奖励通常包含：

1. 可行性硬约束：超载、时间窗、仓内工艺不满足直接给大惩罚
2. 主KPI：例如准时率、总成本、缺货率
3. 稳定性项：尽量减少与昨天方案差异（减少运营切换成本）

经验上，奖励函数写得好，模型就算不大也能跑出价值；奖励函数写得含糊，模型越大越像“随机生成器”。

第3-4周：先做“离线回放评估”，用历史数据校准

做两件事：

• 用历史订单/路线/波次做回放，评估新方案在同样输入下的奖励
• 选一个“保守基线”对比（当前规则、求解器、或人工方案）

建议至少用3个指标验收：

• 成本类：总里程/总工时/车辆数下降（例如目标 3%-8%）
• 服务类：准时率不降（或提升 0.5-2 个百分点）
• 稳定性：方案变动幅度可控（例如站点换车率不超过阈值）

第5-6周：小流量线上A/B，做“人机共驾”

直接全量替换很危险。更稳的做法是：

• 10%流量给模型生成方案
• 调度/仓内主管有一键回退与人工改动入口
• 记录人工改动作为“偏好数据”，用于下一轮微调

第7-8周：形成闭环：奖励=仿真+真实反馈混合

当线上反馈稳定后，把奖励做成混合：

• 快速项：规则/静态成本即时算
• 准实时项：T+1 的准时率、异常率
• 慢速项：库存周转、售后、破损

这样模型不会被单日噪声带偏，同时能逐步对齐真实业务。

常见问题：供应链团队最关心的三件事

1）“我们已经有求解器了，还需要这种生成模型吗？”

需要，原因很现实：求解器擅长在固定目标与约束下求最优，但面对频繁变化的业务偏好（旺季/淡季、履约策略、车队结构变化），你会不停调参、改规则、加补丁。生成模型+策略优化更像“可学习的调度经验”，能把变化吸收进微调过程。

2）“奖励函数会不会把模型带偏？”

会，所以要把奖励拆成：硬约束（不可违反）、软目标（可权衡）、稳定性（可解释）。另外，建议把奖励的每个分量单独记录，避免只看总分导致“指标打架”。

3）“训练成本会不会太高？”

真正昂贵的是奖励评估（仿真/求解），不是模型反向传播。降低成本的办法通常是：

• 用分层评估：先规则过滤，再仿真精算
• 复用缓存：相同子结构重复出现时复用奖励
• 先小模型验证闭环，再扩到更大模型

把科研成果变成供应链优势：关键在“持续微调能力”

离散扩散模型配合SEPO这类策略梯度优化，给供应链团队提供了一种很实用的能力：用KPI当语言，把业务偏好直接写进模型，并且随着环境变化持续更新。这正符合「人工智能在科研与创新平台」系列的主题——科研方法不只是论文里的漂亮曲线，更应该成为企业“可迭代的决策系统”。

如果你正在推进路线优化、仓库自动化或库存策略升级，我的建议很明确：别把AI项目做成一次性交付。把“奖励函数+离线回放+小流量A/B+持续微调”搭成平台，才会越用越准。

下一步你可以做一件小事：挑一个离散决策点（排线、波次或补货），写出一版可计算的奖励函数，并用最近30天数据做离线回放。你会很快看清楚——你的系统到底缺数据，还是缺“对齐目标的优化方法”。