深度数据进VLM：让车载AI真正“看懂”三维世界

2026-03-31，Pandaily 报道了一个很关键的进展：SpatialPoint 把深度（Depth）从“可选附加信息”，提升为视觉-语言模型（VLM）的核心输入，并且能直接输出可执行的三维坐标点。这不是学术圈的“又一篇论文”，而是一个会影响机器人落地、也会外溢到车载软件与用户体验的技术拐点。

多数团队做车载AI体验时，习惯把“看见”理解为识别物体：识别车道线、识别行人、识别路牌。问题在于，识别不等于理解三维空间。UI/UX 里很多看似简单的需求——比如 AR 导航箭头应该“贴”在路口地面哪个位置、自动泊车时该如何向驾驶员解释车辆将停在“距离右侧柱子 28cm”的位置——都需要可度量的三维。

这篇文章属于《人工智能在机器人产业》系列，我想借 SpatialPoint 的思路，讲清楚一件事：把深度纳入VLM推理链路，会同时提升“动作可靠性”和“人机沟通的可解释性”。对汽车软件来说，这直接对应更稳的自动化、更可信的提示、更自然的交互。

SpatialPoint 做对了什么：把“深度”变成推理的主干

SpatialPoint 的核心答案很直接：VLM 要做可执行任务，必须具备“可度量的三维理解”，而深度是最直接的度量来源。 传统VLM擅长“是什么”（语义），但在“在哪里、差多少、到哪儿抓/放”（几何与度量）上常常靠猜。

根据原文信息，SpatialPoint 由视启未来（Visincept）联合清华大学与 IDEA 研究院提出，建立在 Qwen3-VL 之上，采用 RGB + Depth + Text 并行编码，最终端到端输出相机坐标系下的3D点。

为什么“能输出3D点”这么重要？

在机器人场景里，输出 3D 点意味着模型给的是动作接口：

• “去按电梯按钮”不再是框出按钮，而是给出按钮中心点的 (x, y, z)
• “抓起桌面上那把螺丝刀”不只是识别螺丝刀，而是给出抓取点坐标与高度
• “把杯子放到盘子右侧 10cm”需要可度量的相对位移

而在车里，3D点同样是“可落地”的接口：

• AR HUD 把箭头贴合到真实路面（不是漂浮在屏幕平面）
• 泊车与低速辅助给出“与障碍物距离”的精确估计，并把风险点标在正确的位置
• 车内手势/指向交互（pointing）真正知道你指的是哪个按钮、哪个屏幕区域

17.2mm 误差：不是参数好看，是工程意义

原文提到，SpatialPoint 在基准测试中的平均距离预测误差为 17.2mm，相较传统方法降低 30× 以上。这个数字对工程非常敏感：

• 机器人抓取：毫米级误差直接决定“抓住/滑落”
• 车载低速：10-20mm 的尺度对应“能否稳定贴边”“是否误判剐蹭”
• AR 叠加：误差越大，箭头越“漂”、越不可信，用户会立刻感知

我更看重的一点是：误差变小，会让产品敢于把功能交给AI。体验不是靠宣传，是靠“每次都对”。

训练与数据：让模型既会说、又会算三维

SpatialPoint 的另一个关键答案是：不要为了几何能力，牺牲语言与视觉理解。 现实项目里，车载与机器人都需要“边理解指令、边理解环境、边输出动作”。

原文给出的实现方式包括两点：

1. 深度专用编码 + 特征对齐（alignment）：让深度信息不是“贴上去”，而是进入推理主链路。
2. 两阶段训练策略：先保留原有语言-视觉能力，再打开几何推理能力。

SpatialPoint-Data：2.6百万条 RGB-D 问答的价值

团队发布了 SpatialPoint-Data：260万条 RGB-D 问答对，覆盖“可触点（touchable points）”与“空中点（air points）”。这两个概念对落地很关键：

• 可触点：可以抓/按/放的接触点（机器人末端执行器或手指要到达的点）
• 空中点：空间中一个位置（比如“距离门把手上方 15cm 的位置”）

映射到汽车场景：

• 可触点：车内中控屏某个按钮、物理旋钮、门把手、充电口盖
• 空中点：泊车时某个“安全缓冲区”边界点、车身四周的风险空间点、AR 提示悬浮在前方 3 米处的“引导点”

换句话说，数据形态决定了产品形态。如果你的数据永远是2D框与分类，那么你的交互永远很难跨入“空间级”。

从机器人到汽车：深度VLM会先改变哪三类车载体验

把 SpatialPoint 的能力放到“汽车软件与用户体验”这条线上，我认为最先被改变的是三类场景：AR导航、低速自动化（泊车/窄路）、座舱自然交互。

1) AR 导航：从“贴屏”走向“贴地”

直接结论：AR 导航是否好用，取决于它是否稳定地绑定真实世界。

很多AR导航失败，不是渲染不好，而是空间锚定不稳：箭头落点不在正确车道、路口引导漂移、转弯时标识跳动。引入深度作为核心输入后，VLM 能把“路口右侧第二条车道入口”这种语言描述，转成相机坐标系下的3D点，再通过标定映射到世界坐标。

产品层面的结果是：

• 引导更可信：箭头“钉在地面上”
• 解释更清晰：可以告诉用户“前方 18m 进入右转专用道”而不是泛泛的“请右转”

2) 泊车与窄路辅助：从“告警”走向“可解释的建议”

多数系统只会“滴滴滴”，用户压力大；更好的体验是告诉你哪里危险、为什么危险、你该怎么做。

当模型能以毫米级误差输出关键点坐标，它就能生成更有用的交互语句与视觉提示，例如：

• “右后轮到路沿预计最小距离 6cm，建议方向盘回正 10° 再缓慢后退”
• “左前角距离立柱 12cm，保持当前轨迹会在 1.8m 后最小距离降到 4cm”

这些不是“更会说”，而是有几何依据才敢说。这也是深度VLM对车载UX最实际的价值：把风险提示从情绪型告警变成工程型建议。

3) 座舱交互：指向、手势与“说这儿”的歧义消失

车内交互常见一句话：“把这个关掉。”问题在于“这个”到底是空调、音乐、还是导航提示？

深度参与推理后，可以把以下信息融合起来：

• 语音文本：“把这个关掉”
• 视觉：用户手指指向的区域
• 深度：手指与屏幕/按钮的真实空间关系

最终得到的是可操作的3D指向点，从而稳定地定位用户意图。这会明显减少二次确认、减少误触发，也让语音助手看起来更“懂你”。

车企/供应商落地清单：把“深度VLM”做成可交付能力

直接答案：要把深度VLM用在汽车软件上，关键不在“上模型”，而在传感器、标定、数据闭环、以及功能安全边界。

我建议按四步做评估与试点：

1. 传感器与成本选择

   • 座舱：结构光/ToF/双目（看你要的是近距离精度还是成本与光照鲁棒）
   • 车外：双目、环视几何、或融合现有深度来源（避免硬件大改）

2. 坐标系与标定体系先行

   • 模型输出相机坐标的3D点只是开始
   • 需要稳定的相机-车身-世界坐标转换，以及温漂/震动/装配误差的在线校正策略

3. 数据闭环：从“问答”走向“交互日志”

   • 参考 SpatialPoint-Data 的思路，你需要采集：指令/对话 + RGB-D + 目标点（或轨迹）
   • 把用户纠错也当成标注来源：用户说“不是这个按钮”，就是高价值负样本

4. 安全边界：明确什么时候不输出坐标

   • 低置信度时宁愿降级到传统规则或提示接管
   • 让模型学会说“我不确定”，比硬输出一个错点更安全

一句很实用的产品原则：在汽车里，宁可少做一次，也别自信地做错一次。

常见问题（车载团队最爱问的三件事）

Q1：我们已经有3D检测/BEV了，还需要深度VLM吗？

需要。BEV/3D检测擅长结构化目标（车、人、道），而深度VLM擅长把自然语言任务映射为可执行空间点。两者更像互补：前者稳态感知，后者任务与交互。

Q2：深度数据噪声很大，真的能成为“核心输入”吗？

能，但前提是你把深度当成主干来建模与对齐，而不是后处理。SpatialPoint 的价值就在于把深度编码放进推理链路，并通过训练策略保住原有VLM能力。

Q3：这会不会太“机器人”，离车太远？

恰恰相反。汽车正在变成“移动机器人”：需要空间理解、需要端到端执行、需要与人自然沟通。机器人产业先踩坑，车载软件可以少走弯路。

你该怎么行动：从一个小而确定的试点开始

SpatialPoint 这类把深度纳入VLM核心输入的框架，真正的启发是：让AI输出“可执行的空间结果”，而不是只输出“看起来很聪明的描述”。 这会同时提升自动化能力与用户体验的可信度。

如果你在做车载软件/座舱UX，我建议选一个低风险但高反馈的试点：例如“指向+语音关闭某功能”、或“AR导航落点稳定性评估”。两周内你就能知道：三维理解到底是在帮你解决问题，还是在制造新问题。

下一篇《人工智能在机器人产业》系列我会继续写：当VLM开始输出动作坐标后，产品团队该如何设计交互，让用户愿意把控制权交出去？这是比模型参数更难、但更决定成败的一环。