李飞飞看了要点赞：15分钟，一台相机，把真实世界搬进了A

编辑｜Clio 把一家冰淇淋店交给机器人，需要准备多少东西？ 机械臂、灵巧手、摄像头，以及负责感知和决策的模型，构成了看得见的系统。但在禾赛联合创始人兼 CEO 李一帆看来，要让机器人真正上岗，还要解决一系列与「空间」有关的问题。 在发布会上谈到 Sharpa 与 DQ 的合作时，他列出了团队希望达到的三个目标：尽量不改造原有环境，完成任务的完整闭环，以及承担真正的制作工作。他介绍道，制作冰淇淋包含五十多个步骤，团队希望机器人能够把整套流程接管。 为了让机器人拿下这套流程，团队先为它准备了一家「数字门店」：将真实门店的布局、设备和操作空间搬进虚拟环境，用于训练。 禾赛表示 ，过去专业团队人工建模还原一家门店需要约 300 个小时，他们的设备约 15 分钟即可完成扫描并生成高度还原的三维训练环境 ；Sharpa 的失败案例降至原来的十分之一，任务成功率达到 99%。 这也是空间智能正在讨论的问题。李飞飞将空间智能概括为 AI 在三维空间中感知、推理并行动的能力。与只回答「看到了什么」的视觉模型相比，它进一步要求 AI 理解物体在哪里、空间的几何关系，以及一个动作发生之后，世界会怎样变化。 那么，一家真实门店，究竟怎样变成机器人可以反复学习的地方？ 10 月 14 日，禾赛发布三维世界数据引擎 Kosmo，包括空间相机 Kosmo One 和云平台 Kosmo World。前者负责采集真实空间，后者进行重建、理解与编辑，并将数据交付给机器人仿真、世界模型和三维创作等工作流。目前，这套数据也已进入皮克斯相关创作工作流，以及高德的空间展示应用。 视频链接：https://mp.weixin.qq.com/s/5znJv_i5tuiw3kdeDSk4Mw 扫描一家店之后，哪些信息会被留下？这些信息又如何变成机器人能够使用的训练轨迹？ 为什么要专门造一台空间相机？ 机器人需要怎样的数字门店？ 柜台表面的颜色和纹理，影响视觉识别；桌沿的位置、设备之间的间隔，关系到接近路径与操作空间；换一个观察角度之后，杯子是否被设备挡住，又会改变机器人获得的观测。 因此，一个可用于训练的数字环境，需要同时保留外观、几何和空间关系。 专业团队当然可以通过传统 CG 建模完成这件事，但问题在于，真实世界中的门店、工厂和酒店各不相同。如果每进入一个新场景，都从头开始建模，成本会随着真实世界的复杂程度快速增加。 现场扫描提供了另一条路径：不再先假设一个标准空间，而是直接把具体场所记录下来。 Kosmo One 将激光雷达、影像系统与高精度 IMU 集成在一台设备中。 激光雷达提供空间测量，摄像头记录颜色与纹理，IMU 为设备运动估计提供信息，再通过同步、标定和融合，把不同来源的数据放进统一的空间参照。 毫米级精度意味着什么？向少卿在发布会上展示了一把网球拍。 他介绍道，球拍网孔约为 5 毫米间距，Kosmo 的定制激光雷达能够清晰呈现这些细小结构。这个演示让抽象的精度指标有了一个直观参照：当扫描对象从房间轮廓变成细小结构，测量能力会决定哪些细节能够被留下。 影像系统则采用一英寸大底 CMOS，支持最高 8K 拍摄，最终导出文件最高分辨率为 6K。但在三维重建中，分辨率之外还有另一个问题：多个摄像头拍到的同一个物体，能否保持一致？ 向少卿用一块地板来解释这个问题。扫描者在房间里走动，同一块地板会反复进入不同摄像头的画面。随着拍摄方向和背景变化，自动曝光、白平衡等处理可能作出不同调整，使同一个表面呈现出不同的亮度和颜色。 这些功能可以改善单张照片的观感，三维重建却需要把多个时刻、多个视角组织起来。如果同一表面的外观不断变化，纹理还原和视角切换的连续性都会受到影响。 因此，Kosmo 为三维重建定制了 ISP，也就是把影像传感器原始信号处理成图像的系统。它需要兼顾跨相机、跨时刻的一致性，让不同画面共同描述同一个空间。 几何与影像之间，也需要准确对应。扫描者走过柜台时，相机拍下一张图像，激光雷达取得一组测量，设备本身还在移动。系统需要知道这些信息分别来自什么时刻、什么位置，才能让图像里的柜台边缘与空间测量中的边缘对齐。 因此，一台空间相机的完成度，要在整条采集链路中体现：既要取得足够细的几何与视觉信息，也要让这些信息相互配合。 使用过程则需要尽量简单。向少卿在介绍 Kosmo One 时，特意强调了一个实体按钮和一个屏幕按钮：用户能够完成开机、扫描等操作。他为这款产品设定的目标，是让空间建模变得像拍照一样容易。 禾赛表示，在普通室内条件下，约 15 分钟可以完成 100 平方米空间的扫描，具体时间随场景结构和采集要求变化。 不过，扫描完成之后，得到的还只是一份空间记录。接下来的关键，是如何把它加工成能够反复使用的训练资产。 一次扫描，如何变成大量训练轨迹？ 采访中，李一帆