Derrick Liu的个人博客

此处记录本博客重要的维护更新动态。 2026-10-23：原域名根路径增设个人主页，博客入口改为子路径/blog。 2026-1-14：添加维护日志文档； 2026-1-3：成功申请域名ziyuliu258.cn并关联到本站，使用cloudflareCDN解决代理问题； 2025-2-3：成功建站，并托管到个人Github Pages上。

由于笔者的大三生涯马上结束，也真正上手科研有了接近一年的时间，所以突发奇想，想要将自己以往和未来的论文阅读笔记在博客上同步一下。这也可以算是监督自己的一种方式，避免偷懒和懈怠。 此前我使用Obsidian管理个人笔记已有一段时间，所以我vibe coding了一个插件（工具）来实现从Obsidian到hexo博客的一键迁移，后续我也会更新这个工具的使用方法。 过去的接近一年时间里，我一直在做关于时间序列预测的工作，虽然说也是三天打鱼两天晒网，但是磨洋工一年下来，总归还是有点收获。当然我的论文阅读范围并不局限于这一方向，基本是想读什么就读什么。或许读者能从我的笔记中获得一些帮助，那就是极好的事情。

引：Minghan Qin、Yuang Wang、Xiuyu Yang 等人提出 Lucida，从真实室内场景的多视角观测中恢复完整、可独立编辑的物体资产，并将它们放回原来的位置。本文保留“解析、生成、摆放”的三阶段流程，最值得关注的是最后的 GizmoAct：让 VLM 像使用三维编辑器一样，观察模型与场景的重叠关系，通过连续多轮的旋转、平移和缩放完成对齐，并自行决定何时停止。 背景 假设我们拍摄了一间有桌子、椅子和柜子的房间，希望把它搬进模拟器。我们需要的不只是从原来的相机位置看上去相似，还希望每把椅子都是一个完整模型，可以单独移动、替换，甚至在新的视角下观察原先被桌面挡住的部分。 这里的目标叫作 可组合场景建模（composable scene modeling）：恢复独立物体及其空间布局，得到能够继续编辑和组装的场景。 已有路线各有侧重。NeRF、3D Gaussian Splatting 等重建方法善于解释拍摄到的画面，但常见输出更接近整个场景的整体表示，遮挡部分也缺少直接观测。检索 CAD...

引：Moo Jin Kim、Karl Pertsch、Siddharth Karamcheti 等人在这篇文章中提出 OpenVLA，将已有的视觉语言模型微调为机器人控制策略。模型接收一张图像和一条指令，将七维机器人动作转换为离散 token，再使用语言模型的 next-token prediction 方式训练。作者在约 97 万条机器人轨迹上训练模型，并开放权重、训练与部署代码，进一步研究新任务微调、LoRA 和量化推理。 背景 假设我们让机器人“把茄子放进碗里”。这要求机器人看出哪个物体是茄子、碗在哪里，还要根据当前夹爪的位置，决定下一步向哪里移动、怎样调整姿态，以及什么时候闭合夹爪。 视觉语言模型（Vision-Language Model，VLM）已经从大量图像和文本中学习了物体、语义和一定的空间关系。问题是， 理解图像中的任务，并不会自动得到能够执行的机器人动作。一个模型即使能准确描述“茄子在碗的左边”，也还没有学会输出机械臂所需的控制量。 VLA（Vision-Language-Action Model）尝试把这一步接起来：在预训练 VLM...

引：这篇由 Aaron van den Oord、Oriol Vinyals 和 Koray Kavukcuoglu 提出的工作，提出了 VQ-VAE（Vector Quantised Variational AutoEncoder）。它把 Encoder 输出的连续特征映射到一个可学习的离散码本，再用 Decoder 重建输入。关键问题是：离散选择不可导时，Encoder 和码本分别怎样学习？ 背景 我们在 DDPM 和 DiT 中遇到过 latent：将图像映射到更紧凑的表示，再让模型在这个表示上工作。在常见的连续 VAE 中，latent 通常由高斯分布采样；而自然语言中的词、语音中的音素等对象，本身又有明显的离散结构。那么，可不可以让模型自己学习一组离散的表示？ 一种直接的办法是让 Encoder 输出一个编号，再由 Decoder 根据编号恢复输入。但编号的选择是离散操作：Encoder 的输出发生很小变化时，选中的编号可能不变，也可能突然跳到另一个值。梯度怎样穿过这样的选择，成为训练时的主要障碍。 另一个问题是 posterior collapse：当...

引：Moo Jin Kim、Chelsea Finn 和 Percy Liang 在这篇文章中研究，怎样更有效地将已有的 Vision-Language-Action 模型微调到新机器人和新任务。作者以 OpenVLA 为基础，组合并行动作解码、action chunking、连续动作和 L1 回归，提出 OpenVLA-OFT；在双臂实验中又加入 FiLM，增强语言对视觉特征的影响。 图为双臂 ALOHA 实验所用的 OpenVLA-OFT+：模型接收三路图像、机器人状态和语言，输出 25 个时间步的动作。图来自原论文 Fig. 1。 背景 VLA 可以理解为将视觉、语言与机器人动作接在一起的策略模型。例如，输入一张桌面图像和“把茄子放进锅里”，模型要根据当前场景产生机械臂动作；执行之后再观察环境，并继续决定后面的动作。 已有 VLA 在大规模机器人数据上预训练，能够理解一定的视觉和语言信息。但遇到新的机器人、新的动作空间或更快的控制频率时，通常仍需要用新任务的示范数据微调。论文研究的问题是：是否必须沿用预训练时的动作输出方式，才能有效利用预训练模型？ 作者以...

引：DDPM 是 Jonathan Ho、Ajay Jain 和 Pieter Abbeel 在 2020 年提出的工作。它用一个固定的加噪过程构造不同难度的去噪任务，再学习反向过程，从纯高斯噪声逐步生成图像。本文最关键的部分是：怎样将反向分布的学习转化为噪声预测，以及为什么最终可以用一个简单的均方误差训练生成模型。 理解这条推导，也就能理解后来 DiT 等工作中噪声预测目标的来源。 背景 我们可以先想象一张清晰图像：如果不断往其中加入少量随机噪声，图像的细节会逐渐消失，最后几乎只剩噪声。这个破坏过程很容易实现，因为每次加入什么噪声、加入多少，都可以由我们自己决定。 DDPM 要做的是学习与之对应的生成过程：给模型一张噪声图，让它逐步得到噪声更少的状态，最终产生一张自然图像。这里学习的是数据的分布，模型需要知道什么样的图像结构是合理的，以及在当前噪声水平下应该怎样更新输入。 扩散概率模型在本文之前已经被提出。DDPM 的贡献在于，通过一套具体的参数化和训练目标，让这类模型得到了很好的图像生成效果，并说明了它与 Denoising Score Matching 和...

引：这篇由 William Peebles 和 Saining Xie 提出的工作，将 latent diffusion 中常用的 U-Net 去噪主干替换成了 Transformer，形成 Diffusion Transformer，也就是 DiT。文章最值得关注的部分，是它如何把带噪 latent、扩散时间步和生成条件接入一个接近标准 ViT 的结构，并通过系统实验说明：增加模型规模，以及增加参与计算的 token 数，都能改善生成质量。 为了阅读任何与diffusion有关的文章，先学习一些前置知识或者了解一下有关diffusion models的发展脉络是很有助益的。在此推荐大神Lilian Weng的这篇博客。 背景 在本文提出时，图像扩散模型通常使用 U-Net 作为去噪网络。它把带噪图像或 latent 输入网络，通过逐层下采样、上采样和跨层连接来预测去噪所需的信息。这样的网络并不只有卷积，很多扩散 U-Net 也会在部分分辨率下插入 attention，但整体上仍然沿用多尺度的编码、解码结构。 另一方面，Transformer...

...

引：本文作者大多为VAST的科研人员，最大的亮点是提出了一种新的拓扑表示方式，从而避免了此前的方式——将Mesh表示为一串离散Token，并使用Transformer自回归生成——引入的自回归过程累计误差以及Mesh本身并不具备的顺序性质。 背景 现有艺术 mesh 生成方法通常把 mesh 表示成一串离散 token，然后用自回归 Transformer 一个 token 一个 token 地预测。很多研究重点放在：怎么把 mesh 压缩成更短的序列，从而让训练和推理更容易。 虽然这些方法效果不错，但有三个核心问题： 第一，mesh 越复杂，序列越长，生成一个 mesh 需要很多步自回归预测，所以推理可能很慢。 第二，自回归过程容易误差累积：前面某些 token 一旦错了，后面的 mesh 序列可能就全乱了。 此外，mesh 本身其实没有天然顺序，不应该被强行当作一个线性序列；它更像图像、点云一样，应该作为整体来建模。 已有一些基于 diffusion 的方法尝试直接处理三角面或...