论文阅读笔记更新计划
由于笔者的大三生涯马上结束，也真正上手科研有了接近一年的时间，所以突发奇想，想要将自己以往和未来的论文阅读笔记在博客上同步一下。这也可以算是监督自己的一种方式，避免偷懒和懈怠。
此前我使用Obsidian管理个人笔记已有一段时间，所以我vibe coding了一个插件（工具）来实现从Obsidian到hexo博客的一键迁移，后续我也会更新这个工具的使用方法。
过去的接近一年时间里，我一直在做关于时间序列预测的工作，虽然说也是三天打鱼两天晒网，但是磨洋工一年下来，总归还是有点收获。当然我的论文阅读范围并不局限于这一方向，基本是想读什么就读什么。或许读者能从我的笔记中获得一些帮助，那就是极好的事情。
本博客所有文章除特别声明外，均采用 CC BY-NC-SA 4.0 许可协议。转载请注明来源 Derrick Liu的个人博客！
相关推荐
2026-06-03
论文阅读：PatchTST
引言 时间序列预测在许多实际应用中具有重要意义，如能源预测、交通流量预测、气象预测等。随着深度学习技术的进步，基于Transformer的模型在时间序列预测中表现出了强大的能力。然而，传统Transformer模型存在计算复杂度高、内存消耗大等问题，尤其在长序列预测中效果不佳。PatchTST模型通过创新性的设计，解决了这些问题，提出了分块（Patching）和通道独立性（Channel-independence）的解决方案，显著提高了时间序列预测的效率和精度。 模型 Tip表示学习（Representation Learning），也常被称为特征学习（Feature Learning），是指让模型自动地从原始数据中发现和提取“特征”或“表示”的技术，而不是依靠人工手动设计规则 。 可以暂且认为，表示学习可分为以下三种： 有监督表示学习：在学习特征的同时，利用标签（如未来的真实值）来纠正模型，让特征直接服务于特定目标 。 自监督表示学习：不利用标签，通过数据自身的结构（如掩码 Patch）来学习特征 。这是本文的核心亮点。 迁移学习（Transfer...
2026-10-26
论文阅读：Denoising Diffusion Probabilistic Models
引：DDPM 是 Jonathan Ho、Ajay Jain 和 Pieter Abbeel 在 2020 年提出的工作。它用一个固定的加噪过程构造不同难度的去噪任务，再学习反向过程，从纯高斯噪声逐步生成图像。本文最关键的部分是：怎样将反向分布的学习转化为噪声预测，以及为什么最终可以用一个简单的均方误差训练生成模型。 理解这条推导，也就能理解后来 DiT 等工作中噪声预测目标的来源。 背景 我们可以先想象一张清晰图像：如果不断往其中加入少量随机噪声，图像的细节会逐渐消失，最后几乎只剩噪声。这个破坏过程很容易实现，因为每次加入什么噪声、加入多少，都可以由我们自己决定。 DDPM 要做的是学习与之对应的生成过程：给模型一张噪声图，让它逐步得到噪声更少的状态，最终产生一张自然图像。这里学习的是数据的分布，模型需要知道什么样的图像结构是合理的，以及在当前噪声水平下应该怎样更新输入。 扩散概率模型在本文之前已经被提出。DDPM 的贡献在于，通过一套具体的参数化和训练目标，让这类模型得到了很好的图像生成效果，并说明了它与 Denoising Score Matching 和...
2026-10-28
论文阅读：Fine-Tuning Vision-Language-Action Models - Optimizing Speed and Success
引：Moo Jin Kim、Chelsea Finn 和 Percy Liang 在这篇文章中研究，怎样更有效地将已有的 Vision-Language-Action 模型微调到新机器人和新任务。作者以 OpenVLA 为基础，组合并行动作解码、action chunking、连续动作和 L1 回归，提出 OpenVLA-OFT；在双臂实验中又加入 FiLM，增强语言对视觉特征的影响。 图为双臂 ALOHA 实验所用的 OpenVLA-OFT+：模型接收三路图像、机器人状态和语言，输出 25 个时间步的动作。图来自原论文 Fig. 1。 背景 VLA 可以理解为将视觉、语言与机器人动作接在一起的策略模型。例如，输入一张桌面图像和“把茄子放进锅里”，模型要根据当前场景产生机械臂动作；执行之后再观察环境，并继续决定后面的动作。 已有 VLA 在大规模机器人数据上预训练，能够理解一定的视觉和语言信息。但遇到新的机器人、新的动作空间或更快的控制频率时，通常仍需要用新任务的示范数据微调。论文研究的问题是：是否必须沿用预训练时的动作输出方式，才能有效利用预训练模型？ 作者以...
2026-10-28
论文阅读：Neural Discrete Representation Learning
引：这篇由 Aaron van den Oord、Oriol Vinyals 和 Koray Kavukcuoglu 提出的工作，提出了 VQ-VAE（Vector Quantised Variational AutoEncoder）。它把 Encoder 输出的连续特征映射到一个可学习的离散码本，再用 Decoder 重建输入。关键问题是：离散选择不可导时，Encoder 和码本分别怎样学习？ 背景 我们在 DDPM 和 DiT 中遇到过 latent：将图像映射到更紧凑的表示，再让模型在这个表示上工作。在常见的连续 VAE 中，latent 通常由高斯分布采样；而自然语言中的词、语音中的音素等对象，本身又有明显的离散结构。那么，可不可以让模型自己学习一组离散的表示？ 一种直接的办法是让 Encoder 输出一个编号，再由 Decoder 根据编号恢复输入。但编号的选择是离散操作：Encoder 的输出发生很小变化时，选中的编号可能不变，也可能突然跳到另一个值。梯度怎样穿过这样的选择，成为训练时的主要障碍。 另一个问题是 posterior collapse：当...
2026-10-30
论文阅读：Lucida: Parse, Generate, and Place for Composable Real-to-Sim Scene Modeling
引：Minghan Qin、Yuang Wang、Xiuyu Yang 等人提出 Lucida，从真实室内场景的多视角观测中恢复完整、可独立编辑的物体资产，并将它们放回原来的位置。本文保留“解析、生成、摆放”的三阶段流程，最值得关注的是最后的 GizmoAct：让 VLM 像使用三维编辑器一样，观察模型与场景的重叠关系，通过连续多轮的旋转、平移和缩放完成对齐，并自行决定何时停止。 背景 假设我们拍摄了一间有桌子、椅子和柜子的房间，希望把它搬进模拟器。我们需要的不只是从原来的相机位置看上去相似，还希望每把椅子都是一个完整模型，可以单独移动、替换，甚至在新的视角下观察原先被桌面挡住的部分。 这里的目标叫作 可组合场景建模（composable scene modeling）：恢复独立物体及其空间布局，得到能够继续编辑和组装的场景。 已有路线各有侧重。NeRF、3D Gaussian Splatting 等重建方法善于解释拍摄到的画面，但常见输出更接近整个场景的整体表示，遮挡部分也缺少直接观测。检索 CAD...
2026-09-12
论文阅读：Nexus
引：本文作者大多为VAST的科研人员，最大的亮点是提出了一种新的拓扑表示方式，从而避免了此前的方式——将Mesh表示为一串离散Token，并使用Transformer自回归生成——引入的自回归过程累计误差以及Mesh本身并不具备的顺序性质。 背景 现有艺术 mesh 生成方法通常把 mesh 表示成一串离散 token，然后用自回归 Transformer 一个 token 一个 token 地预测。很多研究重点放在：怎么把 mesh 压缩成更短的序列，从而让训练和推理更容易。 虽然这些方法效果不错，但有三个核心问题： 第一，mesh 越复杂，序列越长，生成一个 mesh 需要很多步自回归预测，所以推理可能很慢。 第二，自回归过程容易误差累积：前面某些 token 一旦错了，后面的 mesh 序列可能就全乱了。 此外，mesh 本身其实没有天然顺序，不应该被强行当作一个线性序列；它更像图像、点云一样，应该作为整体来建模。 已有一些基于 diffusion 的方法尝试直接处理三角面或...
评论