1 基本概念
视觉重建任务是计算机视觉与图像处理中的基础研究方向，核心目标是在输入信息不完整、存在退化或受到损伤的情况下，恢复尽可能接近原始场景的视觉内容。其输出可以是图像、视频，也可以是三维结构或场景外观，重建结果既服务于视觉质量提升，也常用于后续检测、分析与理解。
1.1 定义与研究目标
从定义上看，视觉重建强调“恢复”而非“简单变换”。与仅改变显示效果的处理不同，它试图推断缺失内容、消除噪声影响或补足低分辨率细节。研究目标通常包括提高清晰度、补全信息、恢复结构关系，以及尽可能保持视觉内容的真实性和一致性。
1.2 任务输入与输出形式
视觉重建的输入形式较为多样，既可能是单幅退化图像，也可能是连续视频、多视角照片、深度数据或点云。输出则依任务而定，可能是高分辨率图像、去噪后的画面、补全后的完整图像，或具有空间结构的三维模型。不同输入与输出组合，决定了具体算法设计与约束方式。
1.3 视觉重建与相关任务的区别
视觉重建与图像增强、生成式合成、目标识别等任务有交叉，但研究重点并不相同。重建任务更关注恢复原始信息或合理补全缺失部分，通常要求结果与真实场景之间具有较强对应关系。
1.3.1 与图像增强的区别
图像增强主要改善观感，例如提升对比度、调整色彩或锐化边缘，重点在于“看起来更好”。视觉重建则更强调从退化中恢复内容本身，例如补回被噪声掩盖的细节或修复缺失区域，因此对真实性和结构准确性要求更高。
1.3.2 与生成式图像合成的区别
生成式图像合成侧重于创建新的视觉内容，允许较强的想象与重构自由度。视觉重建虽然也可能引入推断和生成，但其输出通常需要遵循输入证据，尽量避免与原场景偏离过大，尤其在医学、工业等场景中更是如此。
1.3.3 与识别类任务的关系
识别类任务的目标是判断“是什么”，而视觉重建的目标是恢复“长什么样”。不过二者经常互相辅助，例如先重建再识别，或利用识别结果作为结构先验，提升重建质量。
2 任务类型
视觉重建并非单一任务，而是覆盖多种具体问题。按照对象不同，可分为图像重建、图像补全、视频重建、三维重建与场景重建等方向。
2.1 图像重建
图像重建主要处理单幅图像在质量、清晰度或细节上的恢复问题，是最常见的视觉重建形式之一。
2.1.1 超分辨率重建
超分辨率重建旨在从低分辨率图像恢复出更高分辨率的版本，重点弥补纹理细节与边缘信息。该任务在监控、医学成像和遥感中较为常见。
2.1.2 去噪重建
去噪重建用于消除成像过程中的随机噪声或环境干扰，使图像在保留主要结构的同时变得更清晰。它既可以针对高噪声采集，也可面向低照度场景。
2.1.3 去模糊重建
去模糊重建处理因运动、失焦或成像抖动造成的模糊问题。其难点在于从被扩散的边缘和纹理中恢复清晰轮廓，并保持局部结构连续。
2.2 图像补全
图像补全关注图像中缺失、遮挡或损坏区域的恢复，常见于修复旧照片、去除遮挡物或重建破损图像。
2.2.1 缺失区域填补
缺失区域填补强调根据周围上下文推断空白部分的内容，使图像在视觉上连贯自然。填补结果不仅要在颜色上协调，还要与整体语义一致。
2.2.2 遮挡内容恢复
遮挡内容恢复主要处理前景物体遮住背景，或局部对象被其他元素覆盖的情况。算法通常需要识别遮挡边界，并根据场景规律推断被遮住的部分。
2.2.3 结构一致性约束
结构一致性约束用于保证补全区域与原图的轮廓、线条和空间关系相协调。若缺乏这类约束，补全结果可能出现纹理拼接自然但结构失真的问题。
2.3 视频重建
视频重建面向连续帧数据，除了恢复单帧质量外，还要处理时间维度上的关联性，避免画面跳变或闪烁。
2.3.1 帧间信息利用
帧间信息利用是视频重建的重要基础，通过相邻帧之间的运动和重复纹理补充当前帧缺失内容。相较于单图像处理，这种方式可显著提高细节恢复能力。
2.3.2 时序一致性恢复
时序一致性恢复关注重建结果在连续帧之间的稳定性，避免出现颜色漂移、边缘抖动或纹理闪烁。该要求在长视频处理和动态场景中尤为关键。
2.3.3 视频插帧与补帧
视频插帧与补帧通过估计中间时刻画面，提升视频流畅度或恢复缺失帧。此类任务常结合运动估计与内容生成，兼顾时间连续性与视觉自然度。
2.4 三维重建
三维重建旨在从二维观测中恢复物体或场景的空间结构，是连接视觉感知与几何理解的重要方向。
2.4.1 立体视觉重建
立体视觉重建利用双目或多目图像之间的视差估计深度信息，从而获得物体的三维形状。其效果依赖于视角差异、纹理丰富度和匹配精度。
2.4.2 多视图几何重建
多视图几何重建通过多个角度的图像联合估计空间位置和结构，适用于复杂场景建模。该方法通常借助相机位姿、特征对应与几何约束进行求解。
2.4.3 点云与网格生成
点云与网格生成是三维重建的典型输出形式。点云提供离散空间采样，网格则进一步描述表面拓扑关系，便于可视化、仿真和后续分析。
2.5 场景重建
场景重建关注更大尺度的空间环境恢复，常用于室内外地图构建、虚拟场景搭建与语义理解。
2.5.1 室内场景重建
室内场景重建需要处理家具遮挡、空间狭窄和光照复杂等问题，目标是恢复房间布局、物体位置及可交互空间结构。
2.5.2 室外场景重建
室外场景重建通常涉及道路、建筑与自然环境，数据规模更大，视角变化也更复杂。此类任务常与导航、测绘和城市建模相关。
2.5.3 语义场景建模
语义场景建模在几何重建基础上加入类别、功能或关系信息，使重建结果不仅“看得见”，也“看得懂”。这类模型更适合支持智能决策与交互应用。
3 数据与输入来源
视觉重建的输入来源直接影响任务难度和可恢复信息量。不同类型数据往往对应不同的算法假设与约束条件。
3.1 单幅图像
单幅图像是最简化的输入形式，常见于超分辨率、去噪和补全任务。由于缺少时间或视角信息，这类任务往往更依赖图像先验与统计规律。
3.2 图像序列
图像序列通常来自连续拍摄或视频拆帧，能够提供时间关联信息。重建时可利用前后帧之间的运动一致性，提升内容恢复的可靠性。
3.3 多视角图像
多视角图像包含同一场景的多个观察角度，适合三维重建和场景恢复。其优势在于可从不同方向补充遮挡区域与深度线索。
3.4 深度图与稀疏点云
深度图与稀疏点云提供空间距离信息，可显著增强几何重建能力。它们常与彩色图像结合使用，以提高结构恢复的精度。
3.5 传感器融合数据
传感器融合数据将不同模态的观测联合用于重建，能够弥补单一传感器信息不足的问题。
3.5.1 RGB-D数据
RGB-D数据同时包含颜色图像与深度信息，在室内建模、目标分割和三维重建中应用广泛。深度通道有助于区分前景和背景，并提升空间估计能力。
3.5.2 双目数据
双目数据由两个相机同步采集，利用视差恢复深度与结构信息。其优势在于硬件相对简洁，适合实时场景。
3.5.3 多模态采集数据
多模态采集数据可能包含图像、深度、惯性、激光或热成像信息。融合这些数据后，系统可在复杂环境下获得更稳定的重建结果。
4 方法与技术
视觉重建方法经历了从传统图像处理到深度学习，再到物理建模与混合框架的演进。不同技术路线各有优劣，适用场景也不尽相同。
4.1 基于传统图像处理的方法
传统方法主要依赖数学模型、局部统计和人工设计规则，优点是可解释性较强，缺点是面对复杂场景时灵活性有限。
4.1.1 插值与滤波
插值与滤波是早期常用手段，常用于放大图像、平滑噪声或修复局部退化。虽然计算简单，但对复杂纹理和细节恢复能力较弱。
4.1.2 频域方法
频域方法通过分析图像在频率空间中的特征来处理模糊、噪声或周期性干扰。此类方法在某些规则退化条件下效果较稳定。
4.1.3 优化与正则化
优化与正则化方法将重建问题转化为目标函数求解，通过加入平滑、稀疏或先验约束抑制不合理结果。这类方法在理论上较严谨，但计算开销可能较大。
4.2 基于深度学习的方法
深度学习显著提升了视觉重建的表现，尤其擅长从大规模数据中学习复杂映射关系。
4.2.1 卷积神经网络
卷积神经网络擅长提取局部空间特征，曾长期作为图像重建的主流架构。它在超分辨率、去噪和补全任务中都有广泛应用。
4.2.2 生成对抗网络
生成对抗网络通过生成器与判别器的博弈提升结果的逼真度，常用于细节补全和视觉纹理恢复。其优势是图像观感自然，但有时会引入不够稳定的细节。
4.2.3 Transformer方法
Transformer方法利用自注意力机制建模长距离依赖关系，适合处理复杂结构与全局上下文。近年来，它在图像与视频重建中逐渐占据重要位置。
4.2.4 扩散模型方法
扩散模型方法通过逐步去噪的方式生成或恢复图像，具有较强的细节建模能力。它在高质量重建方面表现突出，但计算过程通常较长。
4.3 基于物理模型的方法
物理模型方法强调成像机制与真实世界规律，适合对精度和可解释性要求较高的场景。
4.3.1 成像退化建模
成像退化建模用于描述图像在采集、传输和存储过程中受到的模糊、噪声或压缩影响。建立合理退化模型，有助于提高重建的针对性。
4.3.2 光照与反射建模
光照与反射建模关注场景外观如何随光源、材质和观察角度变化。该类方法在重照明、材质恢复和真实感渲染中较为重要。
4.3.3 几何约束建模
几何约束建模通过引入投影关系、视差关系或空间连续性，限制重建结果的结构偏差。它在三维重建和多视图恢复中尤为关键。
4.4 混合方法
混合方法结合传统先验、物理约束与数据驱动学习，试图兼顾可解释性与性能表现。
4.4.1 先验与数据驱动结合
先验与数据驱动结合将人工经验与神经网络优势融合，既保留结构规则，又增强复杂场景适应能力。此类方案常用于真实退化条件下的重建。
4.4.2 显式结构约束
显式结构约束通过边缘、轮廓、深度或语义信息辅助重建，使输出更符合场景逻辑。它能有效减少局部伪影和结构错位。
4.4.3 多阶段重建框架
多阶段重建框架将任务拆分为粗恢复、细化和校正等步骤，逐步提升结果质量。该设计便于处理大尺度缺失和复杂退化问题。
5 训练与评估
视觉重建模型的训练与评价直接影响结果质量。由于任务往往兼具感知和几何属性，训练策略通常需要多种目标协同。
5.1 数据集构建
高质量数据集是重建研究的基础，既要覆盖典型场景，也要尽量反映真实退化情况。
5.1.1 合成退化数据
合成退化数据通过人工加入噪声、模糊、压缩或遮挡生成训练样本，便于控制退化类型和强度。其优点是标注方便，但与真实场景仍可能存在差异。
5.1.2 真实采集数据
真实采集数据来自实际拍摄或传感器记录，更接近应用环境。它能更好反映复杂退化机制，但获取成本较高，且配对真值往往难以获得。
5.1.3 标注与配准
标注与配准用于建立输入与目标之间的对应关系，尤其在多视图、深度和三维任务中十分关键。若配准误差较大，会直接影响训练效果。
5.2 损失函数设计
损失函数决定模型优化方向，通常需要同时兼顾像素准确性、感知质量与结构一致性。
5.2.1 像素级损失
像素级损失衡量重建结果与真值在数值上的差异，常用于保证基本还原精度。它实现简单，但不一定最符合人眼感知。
5.2.2 感知损失
感知损失通常基于特征空间比较图像相似性，更关注纹理和语义层面的接近程度。它有助于提升视觉自然度与细节表现。
5.2.3 对抗损失
对抗损失通过引导生成结果逼近真实分布，常用于增强图像逼真感。此类损失可以提升细节丰富度，但训练过程可能更不稳定。
5.2.4 几何一致性损失
几何一致性损失用于约束重建结果在空间关系上的合理性，适合多视图和三维任务。它有助于保持轮廓、深度与投影的一致。
5.3 评价指标
评价指标用于衡量重建质量，通常兼顾数值误差、结构保真度和主观感受。
5.3.1 峰值信噪比
峰值信噪比是衡量重建图像与参考图像差异的常用指标，数值越高通常表示误差越小。它适合反映整体精度，但未必完全对应视觉感受。
5.3.2 结构相似性指数
结构相似性指数关注亮度、对比度与结构一致性，是图像质量评价中的常见指标。相比单纯像素误差，它更接近人眼对图像结构的判断。
5.3.3 感知质量指标
感知质量指标侧重模拟人类主观感受，常用于评估图像是否自然、真实和清晰。它对细节纹理和整体观感较敏感。
5.3.4 三维重建误差指标
三维重建误差指标用于衡量空间位置、表面形状或点云偏差。常见形式包括几何距离、重投影误差和表面偏差等。
6 应用领域
视觉重建技术已广泛进入多个实际场景，成为提升数据质量和系统能力的重要工具。
6.1 医学影像重建
在医学影像中，重建技术可用于提升低剂量扫描质量、补足受限采样信息或恢复更清晰的组织结构。其应用通常对准确性和稳定性要求极高。
6.2 遥感与地理信息
遥感图像常受云层、分辨率限制和传感器噪声影响，重建技术可帮助恢复地表细节、补充缺失区域并提升制图精度。
6.3 工业检测与质量控制
在工业场景中，重建可用于修复低清晰度检测图像、补足遮挡部件细节，并支持缺陷识别与尺寸分析。其特点是强调可靠性与一致性。
6.4 影视修复与数字文保
影视修复和数字文保中，视觉重建可用于修补老旧影片、去除划痕噪点、恢复褪色画面或还原历史图像。相关工作兼具技术性与文化价值。
6.5 增强现实与虚拟现实
增强现实与虚拟现实依赖高质量视觉内容与空间理解能力，重建技术可用于场景建模、遮挡处理和实时外观恢复，增强沉浸体验。
6.6 机器人与自动驾驶感知
机器人与自动驾驶系统需要从复杂环境中恢复可用的空间和外观信息。视觉重建可辅助深度估计、障碍理解与场景补全，提高感知鲁棒性。
7 关键挑战
尽管视觉重建发展迅速，但在真实应用中仍面临多方面限制。
7.1 数据缺失与噪声干扰
实际输入往往伴随严重缺失、压缩痕迹或复杂噪声，使重建问题变得不稳定。退化越复杂，恢复真实信息就越困难。
7.2 细节真实性与幻觉问题
模型有时会生成看似合理、实则并不存在的细节，这被称为幻觉问题。对于需要高可信度的场景，这类偏差可能带来明显风险。
7.3 结构一致性与时空一致性
重建结果不仅要在单帧内合理，还要在视频或多视图之间保持连续稳定。结构错位、闪烁和几何漂移是常见难题。
7.4 计算效率与实时性
许多高质量重建方法计算量较大，不利于移动端或实时系统部署。如何在精度与速度之间取得平衡，是工程落地的重要问题。
7.5 泛化能力与跨域适应
模型在某类数据上表现良好，并不代表能适用于其他成像条件或传感器环境。跨域变化会削弱重建效果，因此泛化能力仍是重要研究方向。
8 发展趋势
随着数据、算力与模型设计的发展，视觉重建正向更复杂、更统一也更高效的方向演进。
8.1 从二维到多维重建
研究重点正在从单幅图像恢复扩展到视频、三维结构、动态场景与多模态空间重建，任务维度不断增加，应用范围也更广。
8.2 从单任务到统一框架
未来方法倾向于在统一框架中处理去噪、去模糊、补全与三维恢复等多类问题，以共享表示和通用先验提高整体效率。
8.3 从监督学习到自监督学习
由于高质量配对数据昂贵，越来越多方法开始利用自监督或弱监督信号学习重建能力，从而降低对人工标注的依赖。
8.4 从离线处理到实时重建
随着硬件与算法优化，重建技术正逐步进入实时应用阶段，适用于交互式编辑、机器人导航和在线视频处理等场景。
8.5 从高保真重建到可解释重建
除了追求视觉效果，研究也越来越重视模型决策过程的透明度与可解释性，使重建结果更便于验证、调试和可信应用。