引：Minghan Qin、Yuang Wang、Xiuyu Yang 等人提出 Lucida，从真实室内场景的多视角观测中恢复完整、可独立编辑的物体资产，并将它们放回原来的位置。本文保留“解析、生成、摆放”的三阶段流程，最值得关注的是最后的 GizmoAct：让 VLM 像使用三维编辑器一样，观察模型与场景的重叠关系，通过连续多轮的旋转、平移和缩放完成对齐，并自行决定何时停止。

背景

假设我们拍摄了一间有桌子、椅子和柜子的房间，希望把它搬进模拟器。我们需要的不只是从原来的相机位置看上去相似，还希望每把椅子都是一个完整模型，可以单独移动、替换，甚至在新的视角下观察原先被桌面挡住的部分。

这里的目标叫作 可组合场景建模（composable scene modeling）：恢复独立物体及其空间布局，得到能够继续编辑和组装的场景。

已有路线各有侧重。NeRF、3D Gaussian Splatting 等重建方法善于解释拍摄到的画面，但常见输出更接近整个场景的整体表示，遮挡部分也缺少直接观测。检索 CAD 模型再对齐，能够获得完整资产，却受模型库覆盖范围限制。使用生成模型补全物体，则又要处理生成资产与真实物体不完全一致的问题。

于是，一个自然的流程是：

  1. 从视频中找出每个物体，判断哪些画面属于同一个实例；
  2. 为每个实例生成完整的三维资产；
  3. 恢复每个资产在场景中的位置、旋转和尺度。

但这三步很容易互相依赖：生成模型希望拿到清楚、没有遮挡的物体图像；位姿估计希望资产形状与观测一致；前面的实例解析却往往只能提供局部、不完整的证据。一旦要求每一步都给出精确答案，误差就会不断向后传递。

Lucida 的思路是， 前面先收集足够可靠的证据，把精确对齐留到最后的闭环调整中完成。解析阶段不必直接给出完美实例几何，生成资产也允许与真实物体存在偏差；最后让策略根据每次修改后的视觉反馈，继续修正摆放。

方法

输入是带相机位姿的 RGB(-D) 观测，输出是包含独立物体资产、九自由度位姿和空间关系的场景图。深度可以来自传感器，也可以由其他模型估计；后续操作需要这些观测提供的三维几何，而不是仅凭一张普通 RGB 图像确定整个房间的米制布局。

Lucida 的解析、生成与摆放流程

图来自原论文 Fig. 2。每个物体先形成一组多视角证据，再生成完整资产，最后通过 GizmoAct 调整到场景中。

场景解析

输入序列记为：

I={(Ii,Di,Ki,Ti)}i=1N,\mathcal{I}=\{(I_i,D_i,K_i,T_i)\}_{i=1}^{N},

其中 IiI_i 是 RGB 图像，DiD_i 是深度图，KiK_i 是相机内参，TiT_i 是相机位姿。内参和位姿让不同画面中的深度点能够被放到同一个三维坐标系中比较。

解析结果是场景图 G=(V,E)G=(V,E)。节点对应物体实例，边记录支撑、包含、邻接等空间关系。对于每个物体 oo，节点还保存一组证据：

Eo={Vo,Mo,Po,bo,co}.(1)\mathcal{E}_o= \{\mathcal{V}_o,\mathcal{M}_o,\mathcal{P}_o,b_o,c_o\}. \tag{1}

这里，Vo\mathcal{V}_o 是物体的多视角图像，Mo\mathcal{M}_o 是对应的 mask 或二维框，Po\mathcal{P}_o 是局部点云观测，bob_o 是具有代表性的三维框，coc_o 是类别名或指代描述。

比如，一把部分藏在桌子下面的椅子，正面画面可能只看见椅背，侧面画面还能看见椅腿。这些图像、区域和局部几何都属于同一个 Eo\mathcal{E}_o。后续生成需要它们补全外观与形状，摆放则使用其中的物体描述和粗略三维位置。

关键帧

相邻视频帧往往高度重复，没有必要在每一帧中重新发现全部物体。作者先根据几何共视关系和时间距离选择关键帧。

对于帧 ii 中的采样点云 Pi\mathcal{P}_i，把点投影到帧 jj，比较投影深度与 jj 的实际深度。深度差不超过阈值 δ\delta 的点组成 Ci→j\mathcal{C}_{i\to j}，其比例为方向性的共视率：

ci→j=∣Ci→j∣∣Pi∣.c_{i\to j}=\frac{|\mathcal{C}_{i\to j}|}{|\mathcal{P}_i|}.

再将两个方向的共视率和时间距离组合：

s(i,j)=2ci→jcj→imax⁡(ci→j+cj→i,ϵ)⋅(λ+(1−λ)exp⁡(−∣i−j∣τ)).(2)\begin{aligned} s(i,j) &=\frac{2c_{i\to j}c_{j\to i}} {\max(c_{i\to j}+c_{j\to i},\epsilon)}\\ &\quad\cdot \left(\lambda+(1-\lambda) \exp\left(-\frac{|i-j|}{\tau}\right)\right). \end{aligned} \tag{2}

前一项接近双向共视率的调和平均：一个方向重叠很多、反方向重叠很少时，相似度也会降低。后一项随着时间距离增大而减小，使较远时刻的画面不那么容易被视为冗余。λ\lambda 和 τ\tau 控制时间权重，ϵ\epsilon 用来避免分母为零。

系统按时间顺序遍历，当一帧与所有已选关键帧的相似度都低于阈值时，才把它加入。随后，VLM 在关键帧中发现候选实例，三维检测器估计物体框，再根据语义和统一坐标系中的几何一致性关联跨帧观测。

证据汇总

场景层面的关键帧，并不一定是某个物体最清楚的帧。例如，房间整体变化很小，但某一时刻恰好能从椅子侧面看清原先被挡住的结构。因此，发现候选物体后，还要围绕这个实例回看完整序列。

作者先从跨关键帧的一致三维框中选出代表框。如果已有框不够一致，就用视频分割和跟踪向邻近帧传播实例，增加三维观测后重新选择。

接着，把代表框投影回输入画面，用得到的二维区域提示逐帧三维框估计。新观测还要与代表框和已有几何核对，只保留一致的部分。这里的输出是一组经过验证、互相补充的证据，而不是直接把不可靠的点全部拼成完整物体。

关系细化

各个物体独立处理后，仍可能出现同一物体被重复记录、两把相似椅子被误合并，或者支撑关系不合理等问题。作者进一步比较实例间的外观和几何，修正错误合并与拆分，并建立空间关系。

例如，一个静置物体在当前场景图中找不到合理支撑，系统就会回到其他视角查找可能漏掉的支撑物体，经多视角几何验证后加入场景。关系信息也用于修正物体与周围环境的空间不一致。

到这里，解析模块得到的是“有哪些物体、每个物体有什么证据、大致在哪里、与谁有什么关系”，为后面两步提供共同上下文。

资产生成

第二步要从 Eo\mathcal{E}_o 得到完整、独立的资产 AoA_o。这里的 amodal 指补出被遮挡的整体结构，而不只保留当前画面中可见的部分。

真实捕获中的实例点云通常缺失严重，还带有深度噪声。作者因此采用先图像、后三维的路线：先综合多视角证据生成一张去遮挡的完整物体图像，再用 image-to-3D 模型将它转换成三维资产。

具体过程是：

  1. 从证据中选择少量可靠而互补的视角，兼顾物体可见程度、与代表框的几何一致性及视角差异；
  2. 用 Set-of-Mark 提示在各视图中标出目标，VLM 组织主参考图、辅助参考图和编辑指令；
  3. 图像编辑模型根据这些输入，生成完整、孤立的物体图像；
  4. image-to-3D 模型将该图像转换为资产 AoA_o，再根据 bob_o 做粗略初始化。

继续看椅子的例子：前面收集到的正面和侧面画面，共同约束椅背、扶手与椅腿；图像编辑步骤把原先被桌子遮住的部分补出来，三维生成再把这张完整图像提升为可编辑模型。R2S 实验中的物体资产使用 Seed3D 2.0 生成。

生成提供了完整性，但补全仍然包含模型先验，资产未必精确等于真实物体。接下来的位姿调整就是在接受这种偏差的条件下工作。

GizmoAct

闭环

GizmoAct 将摆放问题写成多轮三维编辑。一个 gizmo 就是三维软件中随选中物体显示的坐标轴与操作手柄：它让我们知道“沿物体自己的哪个方向移动或旋转”。

每个物体的状态为：

xt=(pt,Rt,st),pt∈R3,Rt∈SO(3),st∈R+3.(3)x_t=(p_t,R_t,s_t), \qquad p_t\in\mathbb{R}^{3},\quad R_t\in SO(3),\quad s_t\in\mathbb{R}_{+}^{3}. \tag{3}

ptp_t 是物体中心位置，RtR_t 是从物体局部坐标到世界坐标的旋转，sts_t 是三个轴上的尺度。三部分各有三个自由度，所以合计为 9-DoF。RtR_t 虽然写成旋转矩阵，但其独立自由度为三；sts_t 允许不同轴分别缩放，因此是各向异性尺度。

环境把当前资产状态与参考观测渲染成图像，VLM 输出一个可执行动作，环境执行后重新渲染：

ot=R(Ao,xt,Eo,vt),at∼πθ(⋅∣o≤t,a<t),(xt+1,vt+1)=F(xt,at).(4)\begin{aligned} o_t&=\mathcal{R}(A_o,x_t,\mathcal{E}_o,v_t),\\ a_t&\sim\pi_\theta(\cdot\mid o_{\leq t},a_{<t}),\\ (x_{t+1},v_{t+1})&=F(x_t,a_t). \end{aligned} \tag{4}

这里，R\mathcal{R} 是渲染过程，oto_t 是本轮图像观测，vtv_t 控制显示模式，πθ\pi_\theta 是 VLM 策略，FF 负责执行动作。下标 tt 表示编辑轮次。

策略可以看到先前的观测与动作，所以整个 rollout 是一段多轮对话。它不必一次给出精确绝对位姿，而是先改一点，再观察修改后的结果，继续修正，直到输出停止动作。

这与 OpenVLA 的机器人控制输出也有区别：这里的动作操作的是软件中的三维资产，目标是将模型与观测对齐，尚不是控制真实机械臂去抓取物体。

观测

GizmoAct 的图形界面与错误恢复轨迹

图来自原论文 Fig. 3。黄色框显示当前资产范围，彩色坐标轴定义局部方向；下方展示一次错误编辑之后的恢复。

每轮观测不只有原始照片，还包含当前资产的渲染、三维框和 gizmo。三维框帮助判断大小与边界，gizmo 则把接下来动作使用的局部坐标系直接画给模型看。

界面同时提供主视图、辅助视图，以及沿当前局部轴渲染的正交视图。主视图便于对应真实图像；其他真实视角补充遮挡信息；正交视图则把当前模型与点云在不同方向上的偏差展示出来。

即使只有单张 RGB-D 输入，也可以从已有点云渲染正交视图，帮助判断只在原视角中不明显的前后偏移和尺度问题。这些视图是在重新展示已有几何，并没有增加额外拍摄到的真实信息。

此外，模型表面如果从当前视角看被点云挡在后面，会叠加半透明绿色。这个遮挡提示让 VLM 更容易判断模型与观测表面之间的前后关系。

动作

核心动作是 update_pose 和 stop。前者更新位姿，后者结束当前物体的调整。更新量全部相对于 gizmo 的局部坐标表达，平移和缩放还使用当前物体大小作为参照。

设旋转增量为 δr=(δz,δx,δy)\delta_r=(\delta_z,\delta_x,\delta_y)，按 ZXY 顺序解释为欧拉角，单位为度；平移增量为 δp\delta_p，相对尺度增量为 δs\delta_s。状态更新为：

Rt+1=RtRZXY(δr),st+1=st⊙(1+δs),pt+1=pt+Rt+1(δp⊙st).(5)\begin{aligned} R_{t+1}&=R_tR_{\mathrm{ZXY}}(\delta_r),\\ s_{t+1}&=s_t\odot(\mathbf{1}+\delta_s),\\ p_{t+1}&=p_t+R_{t+1}(\delta_p\odot s_t). \end{aligned} \tag{5}

⊙\odot 表示逐元素相乘。三个式子分别更新旋转、尺度和位置，但有两个细节决定了这些数值应该怎样读：

  • 先旋转，再解释平移方向。位置更新使用 Rt+1R_{t+1}，因此 δp\delta_p 沿更新后的局部坐标轴生效。
  • 平移和尺度参照更新前的大小。平移使用 δp⊙st\delta_p\odot s_t，尺度使用 st⊙(1+δs)s_t\odot(\mathbf{1}+\delta_s)；不是先缩放，再用新的大小计算本轮位移。

举个例子，δp\delta_p 的 xx 分量为 0.100.10，表示沿新的局部 xx 轴移动当前该轴尺寸的十分之一；δs\delta_s 的 xx 分量为 0.050.05，表示该轴放大 5%。前者不是移动 0.10 米，后者也不是把轴长直接设成 0.05。

这种动作形式把“往红轴方向移一点”“把这个方向放大一些”变成可以执行的相对编辑，减少了直接从画面估计绝对世界坐标和米制尺寸的负担。

轴置换

如果初始模型整个朝反了，只靠小幅欧拉角修正会比较困难。原始相机视角可能看不到模型背面，大幅旋转的欧拉角表达也容易出现不稳定。

作者因此加入两个辅助动作：switch_obs 只切换观测模式，不改变物体状态；新的显示沿六个带符号的局部轴展示资产，让模型看清各个面。随后，permute_axis 直接选择一次粗略的轴对齐旋转。

模型指定新 xx 轴和新 zz 轴对应的带符号源轴：

ex,ez∈{±x^,±y^,±z^},ex⊤ez=0.e_x,e_z\in\{\pm\hat{x},\pm\hat{y},\pm\hat{z}\}, \qquad e_x^\top e_z=0.

再用右手法则确定 yy 轴，构成：

M(ex,ez)=[ ex,  ez×ex,  ez ],Rt+1=RtM(ex,ez).(6)\begin{aligned} M(e_x,e_z)&=[\,e_x,\;e_z\times e_x,\;e_z\,],\\ R_{t+1}&=R_tM(e_x,e_z). \end{aligned} \tag{6}

xx 轴有六种选择，zz 轴有四种与其正交的选择，因此共有 6×4=246\times4=24 种轴对齐旋转。它们能够一步去掉主要方向错误，剩余的小角度误差再用 update_pose 修正。

GizmoAct 通过切换观测和轴置换修正大幅旋转

图来自原论文 Fig. 4：先查看六个方向，再粗调朝向，最后做连续修正并停止。

动作以文本标签输出，每轮只发出一个动作。下面是论文中的接口形式：

1
2
3
4
5
6
7
8
9
<switch_obs>permute_axis</switch_obs>

<permute_axis>{"x":"-y","z":"x"}</permute_axis>

<update_pose>{"rotate":{"z":8.25,"x":-2.50,"y":3.10,"order":"ZXY"},
              "translate":{"x":0.10,"y":-0.04,"z":0.02},
              "scale":{"x":0.05,"y":-0.03,"z":0.02}}</update_pose>

<stop>{}</stop>

这些标签分别属于不同轮次，环境执行之后才会返回下一轮观测。update_pose 可以只包含旋转、平移、缩放中的非空子集；错误的动作名或参数格式会被环境拒绝。

监督微调

知道接口后，还有一个问题：怎样让 VLM 学会这些编辑动作？

作者先用合成专家轨迹进行监督微调（SFT）。每个训练样本包含证据 Eo\mathcal{E}_o、资产、经过扰动的初始位姿 x0x_0，以及目标位姿 x⋆x^\star。 目标位姿只供专家轨迹生成器使用，策略本身根据渲染观测学习动作。

训练混合包含三类互补数据：

  • 将 MesaTask 的桌面布局放进 3D-FRONT，提供干净的室内几何和密集桌面场景；
  • FoundationPose 风格的合成场景，随机化物体朝向、遮挡、纹理与照明，覆盖资产外观与观测不一致的情况；
  • CA-1M 训练划分中的真实物体，使用 SAM 3D 生成资产并人工对齐到 LiDAR，提供噪声点云与不同程度的几何偏差。

专家能够访问 x⋆x^\star，知道当前位姿哪里出错。轨迹优先修正旋转，再根据剩余误差处理平移和尺度；大角度错误可以先使用轴置换。每轮可以修正若干维度，抽样不同修正组合和轮数，得到长度不同的对话轨迹。

但完美专家轨迹有一个问题：它展示的总是正确动作，策略推理时却会自己出错。因此，作者在轨迹中主动注入欠修正、过度修正、方向错误、错误轴置换等动作，再让专家示范如何从错误状态恢复。

注入并不是随意破坏：只有当干净专家从错误后的状态出发，仍能在剩余轮数内到达目标时，才保留这次错误。错误动作会被执行，也会留在对话历史里，但 不作为需要模仿的监督目标；之后的恢复动作才参与学习。

目标函数为：

LSFT(θ)=−Eξ∼DSFT∑t∑jwtmt,jlog⁡πθ(yt,j⋆∣ht,yt,<j⋆).(7)\begin{aligned} \mathcal{L}_{\mathrm{SFT}}(\theta) =-\mathbb{E}_{\xi\sim\mathcal{D}_{\mathrm{SFT}}} \sum_t\sum_j w_t m_{t,j} \log\pi_\theta \left(y_{t,j}^{\star}\mid h_t,y_{t,<j}^{\star}\right). \end{aligned} \tag{7}

ξ\xi 是一段轨迹，ht=(o≤t,a<t)h_t=(o_{\leq t},a_{<t}) 是本轮之前的交互历史，yt,j⋆y_{t,j}^{\star} 是目标动作文本中的第 jj 个 token。mt,jm_{t,j} 只选择动作输出位置，wt∈{0,1}w_t\in\{0,1\} 则把注入错误的轮次屏蔽掉。

因此，这个损失仍然是动作文本上的交叉熵，只是明确区分“模型需要看见的错误历史”和“模型需要学习的正确恢复”。

强化学习

脚本注入的错误只能覆盖部分情况。策略真正运行后，会产生不同的错误组合、观测和停止时机；监督微调也不直接评价一整段调整是否最终成功。作者因此继续使用在线 rollout 和 GRPO 训练。

这里可以把 GRPO 理解为：对同一个初始问题采样多条调整轨迹，比较它们的最终结果，再提高较好轨迹中的动作文本概率，降低较差轨迹的概率。环境执行每个动作后提供新图像，奖励则在整段轨迹结束时计算。

作者使用两个量评价最终状态：预测框与目标框的广义三维 IoU，记作 gg；旋转的测地误差，记作 eRe_R。前者反映几何框的对齐程度，后者直接衡量朝向差异。

它们分别被分成四档，记作 ℓg,ℓR∈{0,1,2,3}\ell_g,\ell_R\in\{0,1,2,3\}：bad、coarse、success、excellent。gg 的分界为 0.75,0.85,0.9250.75,0.85,0.925，越高越好；eRe_R 的分界为 30∘,10∘,5∘30^\circ,10^\circ,5^\circ，越低越好。两项都达到 success 才令：

S=1[ℓg≥2] 1[ℓR≥2].S=\mathbf{1}[\ell_g\geq2]\, \mathbf{1}[\ell_R\geq2].

其中 1[⋅]\mathbf{1}[\cdot] 是指示函数，条件成立取 1，否则取 0。对于最终动作是 aTa_T 的轨迹 ξ\xi，奖励为：

r(ξ)=S8(4+21[ℓg=3]+21[ℓR=3]+1[aT=stop]).(8)\begin{aligned} r(\xi)=\frac{S}{8}\Big(&4 +2\mathbf{1}[\ell_g=3]\\ &+2\mathbf{1}[\ell_R=3] +\mathbf{1}[a_T=\mathrm{stop}]\Big). \end{aligned} \tag{8}

也就是说，只有框的对齐和旋转都合格，才得到基础奖励；任一项达到 excellent 可以额外加分，已经对齐后主动停止也会加分。若两项均为 excellent 且输出 stop，奖励为 9/89/8。这里的奖励是优化用的分数，不是必须落在 [0,1][0,1] 的概率。

使用旋转误差也带来对称物体的问题：一个没有方向性外观的对称物体，可能有多个等价朝向，却被相对某一个标注朝向的误差惩罚。因此，作者在 RL 训练中排除了对称物体。测试中的表面距离指标则与这个训练奖励不同。

每个问题以温度 0.7 采样 K=8K=8 条轨迹，再进行动态采样过滤：如果组内存在未正常完成的轨迹，或者八条轨迹的奖励全部相同，就舍弃这一组并补采。后一种情况下，无论全失败还是全成功，都没有组内排序信号。

最终标量奖励被用于整段轨迹各个动作 token 的策略更新。优化使用 DAPO 风格的 token 级裁剪目标，不对优势做组内标准差归一化，也不加入 KL 惩罚。每轮至少收集 40 个问题、320 条轨迹，再对收集到的数据优化两个 epoch。

推理时不再提供 x⋆x^\star，也不计算这些训练奖励。策略只能根据当前渲染及历史判断怎么改、何时停；实验还设置了最多 12 步的预算，所以闭环不等于能够无限调整直到正确。

场景组装

各个物体生成并完成定位后，Lucida 将它们按位姿和尺度组装起来，保留类别、资产与空间关系，形成可编辑的场景图。

可选后处理进一步检查支撑、碰撞、接触一致性和摆放合理性。这部分与 GizmoAct 分开：策略负责单个物体对齐，全局规则和物理检查处理场景级约束。不能因为每个物体分别放得较好，就默认物体之间已经没有穿插或悬空。

实验

实验依次检查解析得到的三维框、GizmoAct 的物体对齐，以及整个系统的场景重建。三个层次的指标对应不同模块，不能把三维检测提升直接当作生成资产形状更好。

三维检测

这一项在资产生成之前评估场景解析，对比 Boxer 和 WildDet3D。各方法获得相同目标实例的提示，重点检验跨帧实例组织与定位。

提示帧分为 all 和 key：前者在所有标注帧中提供提示，后者只在关键帧中提供。Lucida 从关键帧提示开始，但后续仍会访问完整序列做实例传播和验证，因此 key 不表示全流程只看这些帧。

数据来自 CA-1M 和作者的 R2S-Scene 基准。CA-1M 有独立激光扫描几何及较全面的物体标注，包含不少小物体和细薄物体；R2S-Scene 则对参与场景重建的实例提供经过验证的三维框与位姿。

评价使用 class-agnostic mAP：在从 0.05 到 0.50、步长 0.05 的三维 IoU 阈值下计算 AP，再对阈值和场景取平均，越高越好。Table 1 的全标注协议结果为：

方法 提示帧 CA-1M mAP R2S-Scene mAP
Boxer all 0.171 0.351
Boxer key 0.067 0.145
WildDet3D key 0.057 0.125
Lucida key 0.180 0.592

R2S-Scene 从 0.351 提高到 0.592，约为 69% 的相对提升，即绝对增加 0.241；CA-1M 的增幅则小得多。作者还给出 filter 协议，只评价至少被一种方法找出的物体。它排除了所有方法共同漏检的目标，因此不能代替全标注结果反映完整场景覆盖。

这个比较支持了围绕实例整理完整序列证据的作用。Lucida 没有单纯依靠逐帧三维框融合，而是在候选实例上继续做验证、补充和关系细化。

位姿估计

为了单独评价 GizmoAct，这里提供目标二维框、类别、带位姿的 RGB-D、物体模型和粗位姿，避免上游漏检直接影响结果。

数据包括 R2S-Object 的 125 个物体、CA-1M 验证集中的 199 个物体，以及 ADT 中 60 个具有设计模型和准确位姿的物体。R2S 和 CA-1M 使用的几何含有估计或补全成分，ADT 则从真实参考场景几何渲染深度。

主要指标为：

  • ADD-SB：预测和参考表面之间的双向最近邻平均距离，单位为米，越低越好；
  • ADD-SB@0.05：距离低于参考物体直径 5% 的样本比例，越高越好。这里的 0.05 不是固定的 5 cm；
  • 3D IoU：预测与参考定向三维框的交并比，越高越好。

主比较使用经过 Boxer 初始化分布专门训练的策略，从 Boxer 的粗位姿开始调整；分别测试单视图和最多四个有效视图，每个物体最多调整 12 步。

下面从 Table 2 中选取 RecGen 单视图作为固定对照，与最多四视图的 GizmoAct 比较：

数据集 方法 ADD-SB（m）↓ ADD-SB@0.05 ↑ 3D IoU ↑
R2S-Object RecGen，1 view 0.040 79.2% 0.499
R2S-Object GizmoAct，最多 4 views 0.017 92.0% 0.719
CA-1M RecGen，1 view 0.061 57.8% 0.391
CA-1M GizmoAct，最多 4 views 0.021 83.4% 0.607
ADT RecGen，1 view 0.044 71.7% 0.462
ADT GizmoAct，最多 4 views 0.021 90.0% 0.670

两者获得的视图数不同，但 GizmoAct 在单视图设定下也有较强表现：R2S-Object 和 CA-1M 的 ADD-SB@0.05 分别为 88.0% 和 81.9%。多视图继续改善严格对齐；ADT 上单视图 ADD-SB 为 0.020，略低于多视图的 0.021，说明不同指标并不总在同一输入设置下最优。

此外，Any6D 与 GizmoAct 使用相同的独立生成资产，SAM 3D 和 RecGen 则联合预测形状与位姿。因而，整张比较表同时涉及资产来源和定位方式，不能把所有差距都归结为某一种位姿更新公式。

初始化

作者还用 同一个随机扰动训练的通用策略，分别从 Boxer、Any6D 风格和 SAM 3D 的位姿开始调整。它与上面针对 Boxer 专门训练的策略不同。

Any6D* 仅采用深度与 mask 的初始化，不包含 FoundationPose 的预测和细化。Table 3 的 ADD-SB@0.05 为：

初始化 R2S-Object CA-1M ADT
Boxer 90.4% 77.9% 81.7%
Any6D* 84.8% 73.9% 93.3%
SAM 3D 91.2% 77.4% 95.0%

通用策略能够处理不同类型的初始误差，但最佳初始化仍与几何质量有关。例如，ADT 的准确深度更有利于依赖深度与 mask 的初始化；在含噪几何下，Boxer 在 CA-1M 上更好。R2S-Object 上，SAM 3D 的严格成功率略高，而 Boxer 的 ADD-SB 和三维框 IoU 更好。

场景重建

这一项对完整流程进行评价：生成资产并恢复空间布局，再与参考场景比较。对比 SceneGen 和 SAM 3D，各方法重建相同的一组目标实例。

Lucida 与 SceneGen、SAM 3D 的场景重建比较

图来自原论文 Fig. 8。原图中的 Ours* 只显示参与比较的物体；侧视图和俯视图能够看出主相机视角下不明显的旋转与摆放问题。

输入信息量并不完全相同：SceneGen 和 SAM 3D 获得同一张参考图及实例 mask，Lucida 使用前面整理的多视角实例证据。SAM 3D 和 Lucida 使用相同的估计深度进行米制摆放；SceneGen 的整体结果额外做一次刚性 FilterReg 对齐。

评价时，每个物体采样 10,240 个表面点。场景级 CD 在实际场景坐标中使用平方欧氏距离，单位为 m2\mathrm{m}^2，总 CD 是两个方向的距离之和：预测到参考侧重多余或错位表面，参考到预测侧重缺失几何。场景 F-Score 使用 0.1 m 距离阈值。

物体级指标则先把每对资产独立归一化并对齐，再衡量形状，因此 Object CD 没有单位，更少受场景摆放影响。这里的 BBox IoU 使用对应物体的轴对齐框，与前面位姿实验中的定向框需要区分。

方法 Scene CD（m²）↓ Scene F-Score ↑ BBox IoU ↑ Object CD ↓ Object F-Score ↑
SceneGen 0.428 0.351 0.092 0.071 0.553
SAM 3D 0.022 0.794 0.396 0.038 0.704
Lucida 0.010 0.924 0.495 0.034 0.736

Table 4 中，Lucida 的场景级改善比归一化后的资产形状改善更明显：相对 SAM 3D，Scene CD 从 0.022 降至 0.010，Object CD 则从 0.038 降至 0.034。这与该系统重点改善实例证据组织及最终摆放的方向一致。

不过，实验同时改变了输入视角和多阶段处理方式，尚未单独分离更多视图、图像补全和 GizmoAct 各自对这组提升的贡献。

消融

场景解析

作者分别替换几何感知关键帧、关闭全序列证据汇总、关闭关系细化，其余生成和摆放流程保持一致。Table 5 中的场景重建使用 R2S-Scene 子集，不能与前面完整实验的 0.924 直接对应：

设置 检测 mAP ↑ Scene CD ↓ Scene F-Score ↑
完整 Lucida 0.597 0.019 0.831
均匀选择关键帧 0.516 0.035 0.727
无全序列证据汇总 0.535 0.036 0.734
无关系细化 0.526 0.020 0.794

三项都影响最终表现。均匀抽帧和关闭证据汇总，使场景 CD 明显变差；关系细化对总 CD 的影响较小，但仍改善三维框检测与 F-Score。这说明它们分别作用于观测覆盖、实例可靠性和空间一致性，不能只看一个距离均值判断有没有用。

策略训练

首先，训练初始化与测试初始化匹配，会改善专门场景中的表现。在同样从 Boxer 开始测试时，将 RL 的随机初始扰动改为 Boxer 输出位姿，R2S-Object、CA-1M 和 ADT 的 ADD-SB@0.05 分别从 90.4%、77.9%、81.7% 提高到 92.0%、83.4%、90.0%。这也解释了主表使用专门策略，而初始化鲁棒性实验使用通用策略。

然后，作者选出 110 个 Any6D* 初始化误差较大的非对称物体，比较 SFT、单独训练的无历史 SFT，以及继续 RL 的模型。无历史 SFT 只根据当前观测学习一次完整修正或停止；三者测试时都在同一闭环环境中反复接收新观测，最多四视图、12 步。

训练方式 ADD-SB@0.05 ↑ ADD-SB@0.01 ↑ 旋转误差 ↓ 旋转误差低于 5° ↑
SFT 70.0% 6.4% 45.19° 52.7%
SFT，无历史 86.4% 0.9% 27.62° 60.9%
RL 87.3% 11.8% 20.98° 67.3%

Table 7 显示，RL 的主要价值在困难情况下的持续修正，尤其是旋转。它提高了严格表面对齐比例，也减少了明显的朝向错误。无历史 SFT 在部分指标上反而优于普通 SFT，说明仅把交互历史放进上下文，并不会自动带来更好的纠错能力。

相关工作

从场景建模看，Lucida 延续了先实例解析、再获得资产、最后恢复布局的模块化路线。它把多视角证据保留下来供后续使用，并允许生成资产与观测存在一定差异，减少了对上游精确重建的依赖。

从位姿估计看，它也继承了 render-and-compare 和序列决策细化的思想：渲染当前估计，依据观测选择下一步修改。新增的重点是使用预训练 VLM 读取图形界面，操作完整九自由度状态，并学习停止。 可执行的相对动作与视觉反馈共同构成接口，语言模型不是只负责给物体起名字或生成高层计划。

核心点和不足

本文较有启发的地方，是把难以一次精确回归的三维对齐，转换成可以观察、执行和纠错的一串编辑。局部 gizmo 让方向有可见参照，相对尺度让动作不必依赖米制数值估计；SFT 先学会可执行的恢复过程，RL 再从自己的运行结果中学习修正与停止。

这套设计仍有明确边界：

  • 漏掉的实例无法在后面自动补回。后面的生成与摆放以解析结果为对象；如果一个物体始终没有进入场景图，精确对齐其他资产也补不上它。
  • 位姿细化只能调整整体变换。旋转、平移和各向异性缩放能够吸收部分形状偏差，却不能修复任意错误拓扑、缺失部件或局部几何。
  • 精度依赖输入几何与资产质量。噪声深度会影响视觉反馈和初始化，生成的隐藏结构也不能等同于真实测量。不同初始化在不同几何条件下各有优势。
  • 闭环目前主要位于最后的摆放阶段。解析和生成还没有形成同样完整的策略交互，物体身份或资产形状的错误未必能被最后的位姿调整纠正。

另外，论文未详细列出策略 VLM 的具体型号、完整训练样本规模和端到端运行成本，因此对复现配置与效率的判断仍有限。实验主要验证几何与布局质量，尚未直接给出这些场景用于机器人训练后的下游收益。

总结

Lucida 先为每个真实实例收集跨视角证据，再综合证据生成完整资产，最后让 GizmoAct 根据渲染反馈反复调整位姿。前两步提供可用的对象与初始状态，最后一步承担精确摆放。

与只追求一次输出更准相比，这篇工作还在讨论另一种建模选择：把哪些误差留给后续可观察、可执行的过程处理。如果能进一步把这种交互扩展到实例发现和资产生成，整个 real-to-sim 流程就可能拥有更完整的错误恢复能力。

参考

配图摘自原论文 Fig. 2、Fig. 3、Fig. 4 与 Fig. 8，用于对应方法和实验的阅读评述，版权归原作者。本文由 AI 协助生成初稿，尚待个人阅读修改。