1 基本概念
1.1 定义与内涵
三维重构是指利用图像、视频、点云、深度信息及其他传感数据，恢复目标物体或场景三维几何结构的过程与技术集合。其核心任务是将二维观测或稀疏空间采样转化为具有空间坐标、表面形态与可视属性的三维模型。该过程既可以针对静态对象，也可以面向较复杂的环境或动态目标。
从方法层面看，三维重构并不局限于单一算法，而是涵盖数据获取、几何推断、配准求解、表面生成与模型优化等多个步骤。不同应用对结果的要求并不相同：有的侧重几何精度，有的强调视觉真实感，也有的更关注实时性与可编辑性。
1.2 研究目标
三维重构的主要目标是尽可能准确、完整地恢复目标的空间结构，并使结果适合计算、渲染和分析。对于工业与工程场景，它通常服务于尺寸测量、质量检验和逆向设计；对于文化遗产和影视制作，则更重视外观细节、纹理还原与展示效果。
此外，三维重构还追求鲁棒性，即在遮挡、噪声、光照变化或数据稀疏等条件下仍能保持稳定输出。随着智能算法的发展，重构系统也逐渐从“几何恢复工具”扩展为“感知与理解平台”的组成部分。
1.3 相关术语
三维重构领域中常见的术语包括点云、网格模型、深度图和体素表示等。这些概念既是数据组织方式，也是不同重构阶段的中间产物或最终表达形式。
1.3.1 点云
点云是由大量三维点组成的数据集合，每个点通常包含空间坐标，部分情况下还会附带颜色、法向量或反射强度等信息。点云能够直接表达物体表面的离散采样结果，常见于激光扫描和深度相机输出。
1.3.2 网格模型
网格模型由顶点、边和面构成，用于表示连续表面。相比点云，网格更适合渲染、仿真和后续编辑，因此常作为重构结果中的主要表达方式之一。
1.3.3 深度图
深度图是一种二维图像，其中每个像素对应场景中某一点到传感器的距离。它是从二维观测通向三维空间的重要中间表示，常用于稠密重建和深度补全。
1.3.4 体素表示
体素表示将三维空间划分为规则的小立方单元，每个单元记录局部空间是否被占据，或保存其他属性信息。该表示形式结构清晰，便于进行空间计算，但在高分辨率下计算与存储开销较大。
1.4 与三维建模的区别与联系
三维重构与三维建模都涉及生成三维对象，但二者出发点不同。三维重构强调从现实数据中恢复已有物体或环境，更偏向“还原”；三维建模则更强调人工创建与设计，允许根据需求自由塑形。前者通常依赖传感器和算法，后者则更多依赖设计软件与创作流程。
二者也存在紧密联系。重构得到的模型常被进一步用于编辑、动画或仿真，而建模过程中生成的几何数据也可能作为重构系统的先验或对照。实际应用中，二者往往相互补充。
2 技术原理
2.1 几何重构原理
几何重构主要依据空间投影关系、视角变化和多源观测之间的几何约束，推断目标表面的三维形态。其基本思路是通过多个观测条件下的对应关系，反推出空间点的位置和表面结构。
2.1.1 多视几何
多视几何研究同一场景在多个视角下的成像关系，是三维重构的重要理论基础。通过分析不同图像之间的对应点，可以恢复相机位置、方向及场景点的空间分布。
2.1.2 三角测量
三角测量是利用多个视线的交会关系确定空间点位置的方法。当同一目标点在不同图像中的投影位置已知时，可根据相机参数与几何关系计算其三维坐标。
2.1.3 视差与深度估计
视差指同一空间点在不同视角图像中的位置偏移。视差越大，通常表示目标越接近传感器。深度估计则是在视差或其他线索基础上恢复距离信息，是立体视觉和稠密重构中的关键步骤。
2.2 传感数据融合原理
传感数据融合强调将来自不同来源的信息结合起来，以弥补单一数据源的不足。图像提供纹理和颜色，深度数据提供距离信息，点云则直接描述空间结构，融合后能够提升重构的完整性与稳定性。
2.2.1 图像融合
图像融合通常用于整合不同视角、不同曝光或不同传感器拍摄的结果，以增强细节、减少缺失并改善一致性。在重构中，它有助于提高特征提取与纹理贴图质量。
2.2.2 深度融合
深度融合是将多个深度观测整合为更可靠的距离估计。它可以平滑局部噪声，修正异常值，并在多帧数据之间形成连续的空间表述。
2.2.3 多传感器配准
多传感器配准是使不同设备、不同时间或不同坐标系下获取的数据对齐到统一空间框架中的过程。其目标是消除坐标差异，为后续融合与重建提供一致基础。
2.3 优化与约束机制
三维重构往往不是一次性求解完成，而是通过优化过程逐步逼近真实结构。为了避免结果偏离实际，系统会引入各类约束条件，使解更稳定、更合理。
2.3.1 误差最小化
误差最小化是重构中的常见策略，即通过调整模型参数，使预测结果与观测数据之间的差异尽可能减小。常见误差包括投影误差、距离误差和形状偏差等。
2.3.2 正则化方法
正则化用于抑制过拟合和噪声放大，避免模型过于复杂或出现不连续现象。它通常通过加入平滑项、稀疏项或结构约束，使结果更符合整体规律。
2.3.3 先验知识引入
先验知识可以来自物体类别、物理规律、结构模板或训练数据统计特征。引入先验后，系统在信息不足时仍能做出较合理的补全和推断。
3 数据来源
3.1 基于图像的数据
图像类数据是三维重构中最常见的信息来源之一。其优势在于采集方便、成本较低，并且能够同时保留颜色与纹理信息。
3.1.1 单目图像
单目图像仅使用单个相机获取的照片进行重构。此类方法通常需要借助运动信息、学习模型或统计先验来补足深度线索，因此对算法能力要求较高。
3.1.2 双目图像
双目图像由两个相距一定基线的相机同步采集而成。通过比较左右图像的视差，可直接估计深度信息，常用于机器人、车载视觉和实时场景感知。
3.1.3 多视角图像
多视角图像通过从多个位置拍摄同一对象，获得更丰富的几何约束。它能够显著提升重构完整性，尤其适合静态场景或可控采集环境。
3.2 基于主动传感的数据
主动传感数据由设备主动发射光、激光或其他信号，再接收回波或反射信息得到。与被动成像相比，这类方法通常能直接获取距离或空间轮廓。
3.2.1 激光扫描
激光扫描通过测量激光束与物体表面的返回时间或角度信息，获得高精度点云。它常用于建筑测绘、工业检测和大场景采集。
3.2.2 结构光
结构光通过向目标投射编码光纹，并根据光纹变形推算深度。该方法在近距离高精度测量中应用较多，尤其适合物体表面细节采集。
3.2.3 飞行时间测距
飞行时间测距依据光信号往返时间计算距离，通常可快速获取场景深度信息。其特点是适合动态场景与实时感知，但精细度受硬件与环境影响较大。
3.3 基于组合传感的数据
组合传感数据将多种输入形式联合使用，以发挥各自优势并降低单一模态的局限性。它常见于复杂场景建模和高精度重构系统。
3.3.1 RGB-D数据
RGB-D数据同时包含彩色图像和深度图，既保留外观信息，也提供空间距离信息，因此便于进行几何重建与纹理映射。
3.3.2 图像与点云联合数据
图像与点云联合数据把视觉细节和三维空间结构结合起来，适合在点云稀疏或颜色信息不足时增强重构效果。
3.3.3 多模态采集
多模态采集是将图像、深度、惯性测量、激光或其他传感信息协同获取，以提高鲁棒性和适应性。它在移动平台和复杂环境中尤为重要。
4 重构流程
4.1 数据采集与预处理
重构流程通常从数据采集开始。采集阶段决定了原始信息质量，而预处理则负责去除干扰、统一格式并为后续步骤提供可用输入。
4.1.1 去噪与校正
去噪与校正确保图像或点云中的异常值、畸变和系统误差被尽量削弱。常见处理包括镜头畸变校正、离群点剔除和信号平滑。
4.1.2 图像增强
图像增强用于改善对比度、清晰度和局部细节，便于后续特征提取与匹配。在弱光、逆光或低分辨率条件下，这一步尤为关键。
4.1.3 坐标统一
坐标统一是将不同来源、不同时间获取的数据转换到统一空间参考系。它为多帧拼接、跨设备融合和后续建模奠定基础。
4.2 特征提取与匹配
特征提取与匹配的目标是找到不同图像或数据之间的对应关系，为位姿估计和空间恢复提供约束。
4.2.1 角点检测
角点检测用于识别图像中具有明显灰度变化或结构转折的位置。这些点通常稳定性较强，适合作为匹配候选。
4.2.2 描述子计算
描述子是对局部特征的数值化表达，用于增强特征的可区分性。合理的描述子可以提高跨视角、跨尺度情况下的匹配准确率。
4.2.3 特征对应关系建立
在获得特征后，需要判断哪些点来自同一空间位置。对应关系一旦建立，便可进一步推算相机运动和场景结构。
4.3 相机位姿估计
相机位姿估计用于确定拍摄设备在空间中的位置与朝向，是从图像恢复三维结构的关键环节。
4.3.1 外参求解
外参描述相机相对于世界坐标系的空间变换。求解外参能够把二维观测映射到统一三维框架中。
4.3.2 运动恢复结构
运动恢复结构是指通过相机运动和图像对应关系，同时估计相机轨迹与场景结构的过程，常用于未知环境下的重建。
4.3.3 位姿优化
位姿优化用于进一步修正初步估计结果，使多帧之间的空间关系更一致。常见做法是通过全局或局部优化减小累计误差。
4.4 稠密重建
稠密重建关注对场景中尽可能多的空间点进行恢复，以获得更完整的三维表面。
4.4.1 深度图生成
深度图生成是根据多视图关系或传感器输出计算像素级距离信息的过程。它是稠密重建的重要中间结果。
4.4.2 空间点云生成
由深度图或多帧观测可进一步生成空间点云，点的密度越高，通常越有利于细节恢复。不过，密度增加也会带来更多噪声处理需求。
4.4.3 体素化重建
体素化重建通过将空间离散为规则体素来表达目标结构，适合进行体积分析、占据判断和某些学习型重建任务。
4.5 表面生成与模型后处理
重构得到的点集或体素通常还需要转化为连续表面，并经过后处理以提升可用性。
4.5.1 网格化
网格化是从离散点或体素中提取表面并生成网格模型的过程。该步骤直接影响模型的可渲染性与可编辑性。
4.5.2 平滑处理
平滑处理用于减少表面毛刺、锯齿或局部噪声，使模型更接近自然形态。但过度平滑也可能导致细节丢失。
4.5.3 孔洞修补
孔洞修补旨在填补由于遮挡、采样不足或配准误差造成的缺失区域。对于完整展示和仿真应用，这一步十分重要。
4.5.4 纹理映射
纹理映射将图像颜色信息投射到三维表面上，使模型兼具几何与视觉属性。对于文化遗产、影视资产和虚拟展示而言，纹理质量往往直接影响最终效果。
5 主要方法
5.1 基于传统计算机视觉的方法
传统方法主要建立在几何关系、光学成像模型和优化理论之上，具有较强的可解释性，在许多场景中仍被广泛使用。
5.1.1 SfM方法
SfM方法即由图像恢复结构与运动，通过多张图像同时估计相机位姿和稀疏三维结构。它常作为大多数重构系统的起点。
5.1.2 MVS方法
MVS方法即多视图立体重建，利用已知相机位姿从多张图像中恢复稠密深度与表面细节。其优势在于结果较完整，适合静态场景。
5.1.3 ICP配准方法
ICP配准方法用于对齐两组或多组点云，通过反复迭代寻找最近点对应并最小化误差。它常用于扫描数据拼接和局部精配准。
5.2 基于深度学习的方法
深度学习方法通过数据驱动方式学习几何规律和隐含表示，能够在复杂场景中取得较强表现。
5.2.1 单目深度估计
单目深度估计利用单张图像预测场景距离分布。该方法摆脱了对多视角采集的强依赖，但通常需要较大规模训练数据支持。
5.2.2 学习型特征匹配
学习型特征匹配通过神经网络提取更具判别性的局部或全局特征，从而提高匹配鲁棒性，尤其适合纹理较弱或视角变化较大的场景。
5.2.3 神经隐式表示
神经隐式表示不直接存储显式网格，而是用神经网络描述空间中的连续几何或辐射场。它在细节表达和连续渲染方面表现突出。
5.3 基于混合方法的重构
混合方法结合传统几何技术与学习模型，试图兼顾可解释性、鲁棒性和重建质量。
5.3.1 传统方法与学习方法结合
这类方案通常利用传统算法完成几何框架搭建，再借助学习模型修复细节或提高深度预测质量。它在工程实践中较为常见。
5.3.2 先验驱动重构
先验驱动重构将类别信息、形状模板或语义约束融入重建过程，以改善遮挡严重或数据不完整时的结果。
5.3.3 实时重构方案
实时重构方案强调在采集过程中同步完成建模，便于交互、导航和在线反馈。其难点在于算法必须兼顾速度与精度。
6 质量评价
6.1 精度指标
精度指标用于衡量重构结果与真实结构之间的接近程度，是评价算法性能的基础。
6.1.1 几何误差
几何误差反映重建表面与真实表面之间的距离偏差，常用于判断形状恢复的准确性。
6.1.2 重投影误差
重投影误差是三维点投影回图像平面后与原始观测之间的差值，常被用于评估位姿和结构估计质量。
6.1.3 位置偏差
位置偏差用于衡量重建对象在空间中的定位准确程度，尤其适用于多传感器系统和大尺度场景。
6.2 完整性指标
完整性指标关注模型是否覆盖了目标的整体结构，以及是否存在明显缺失。
6.2.1 覆盖率
覆盖率表示重建结果对目标表面的覆盖程度。覆盖越高，通常说明模型越完整。
6.2.2 孔洞比例
孔洞比例用于统计模型表面未被重建的区域占比。该指标可直观反映遮挡与采样不足的影响。
6.2.3 稠密度
稠密度指单位空间内点或面片的数量，能够在一定程度上反映模型细节与采样密度。
6.3 视觉效果评价
视觉效果评价主要针对模型展示质量，适用于数字文保、影视、游戏和虚拟现实等场景。
6.3.1 纹理一致性
纹理一致性关注不同区域纹理是否自然衔接，以及颜色是否与几何结构匹配。
6.3.2 表面平滑度
表面平滑度反映重建表面在视觉上的连续性和规整程度，过于粗糙会影响观感，而过度平滑则可能削弱细节。
6.3.3 渲染真实感
渲染真实感是从最终显示效果出发，考察模型在光照、阴影和材质表现上的逼真程度。
7 应用领域
7.1 工业设计与制造
三维重构在工业领域常用于测量、检测和再设计，能够减少手工建模与重复测绘成本。
7.1.1 产品逆向建模
产品逆向建模是指通过扫描或图像重构已有产品，得到可编辑的三维模型，便于再设计与改良。
7.1.2 零部件检测
零部件检测可借助重构结果与标准模型比对，识别形变、偏差或装配问题。
7.1.3 质量控制
在生产过程中，三维重构可用于快速检查尺寸一致性与表面缺陷，提高质量控制效率。
7.2 文化遗产与数字保存
三维重构为文物、建筑和遗址的数字化记录提供了可靠手段，有助于长期保存与传播。
7.2.1 文物数字化
文物数字化可以将器物的形态、纹理与细节完整记录下来，便于研究、展示和远程共享。
7.2.2 遗址建模
遗址建模有助于还原历史空间的外观与结构，为学术研究和公众教育提供直观材料。
7.2.3 虚拟展示
虚拟展示将重构成果用于线上展览或沉浸式体验，使观众能够以交互方式查看对象细节。
7.3 影视与游戏制作
影视和游戏行业常把三维重构作为资产生产的重要工具，用于快速生成真实感场景和角色。
7.3.1 场景资产生成
场景资产生成可以把现实环境转化为可用于拍摄、游戏引擎或动画制作的三维资源。
7.3.2 角色建模
角色建模常借助扫描或图像重构获取人物外形，再进行艺术化处理与绑定。
7.3.3 特效预览
在特效制作中，重构模型可用于预览镜头空间关系与光影效果，减少后期返工。
7.4 机器人与自动驾驶
机器人与自动驾驶系统依赖三维重构获取周围环境结构，以支持导航、避障和决策。
7.4.1 环境感知
环境感知要求系统识别周围物体的空间分布、形状与距离，从而形成可操作的场景理解。
7.4.2 地图构建
地图构建把局部观测整合为更完整的空间表示，为移动平台定位与路径规划提供基础。
7.4.3 障碍物识别
障碍物识别有助于判断可通行区域和潜在风险目标，是安全行驶与稳定运动的重要环节。
7.5 医学与生物成像
在医学和生物领域，三维重构可将扫描或成像数据转化为立体结构，辅助观察与分析。
7.5.1 器官建模
器官建模用于恢复人体器官或组织的空间形态，便于展示内部结构和辅助研究。
7.5.2 手术辅助
重构模型可为术前规划和术中参考提供直观三维信息，帮助医生理解复杂解剖关系。
7.5.3 诊断分析
诊断分析中，三维结构信息有助于观察病灶范围、形态变化与空间位置，提高判断效率。
8 典型挑战
8.1 遮挡与缺失数据
遮挡会导致部分表面无法被完整观察，进而形成数据空白。缺失数据是三维重构中最常见的问题之一，往往需要依靠多视角采集、先验补全或后处理修复。
8.2 纹理不足与重复纹理
当表面缺乏明显纹理时，特征匹配容易失败；而重复纹理则可能造成错误对应。两者都会降低位姿估计与深度恢复的稳定性。
8.3 光照变化与噪声干扰
不同光照条件会改变图像外观，噪声则可能影响深度和点云质量。对于依赖视觉特征的系统，这些因素会明显增加重构难度。
8.4 大规模场景处理
大范围环境通常伴随更多数据量、更高计算负载和更复杂的配准问题。如何在保证精度的同时处理海量信息，是系统设计的重要考量。
8.5 实时性与计算资源限制
实时应用需要在较短时间内完成采集、计算和更新，而高精度算法往往耗时较长。因此，如何在资源受限条件下保持稳定输出，是持续优化的方向。
8.6 尺度漂移与配准误差
在连续重建过程中，误差会随着帧数增加逐渐累积，造成尺度漂移或整体错位。配准不准确时，还可能出现局部重叠、扭曲或断裂现象。
9 发展趋势
9.1 智能化重构
随着人工智能技术发展，三维重构正由规则驱动逐步转向数据驱动，并更加重视自动化与语义理解。
9.1.1 自监督学习
自监督学习利用数据内部的一致性构建训练信号，减少对人工标注的依赖，适合大规模重构任务。
9.1.2 少样本重构
少样本重构旨在在训练数据有限的情况下仍保持较好表现，尤其适用于专业场景和长尾对象。
9.1.3 端到端建模
端到端建模将多个传统步骤整合为统一学习框架，使输入到输出的映射更直接，也便于整体优化。
9.2 实时与在线重构
实时与在线重构强调在数据采集过程中持续更新模型，以支持交互式应用和动态环境感知。
9.2.1 边缘计算支持
边缘计算可将部分计算任务部署到靠近传感器的设备上，减少传输延迟并提升响应速度。
9.2.2 增量式重建
增量式重建通过逐步融合新数据更新模型，避免每次都从头计算，更适合长时间运行场景。
9.2.3 动态场景重构
动态场景重构面向会发生变化的对象或环境，需要同时处理形变、运动与时间一致性问题。
9.3 高保真与可编辑表示
高保真与可编辑表示是重构技术向更高质量和更强应用适配能力发展的重要方向。
9.3.1 神经渲染
神经渲染通过学习光照、材质与视角变化关系，生成更具真实感的图像结果，提升重构展示效果。
9.3.2 可微重建
可微重建使几何与渲染过程可参与梯度优化，便于将多种约束统一到同一训练框架中。
9.3.3 语义融合重构
语义融合重构将类别、部件与场景语义纳入几何恢复过程，使模型不仅“像”，而且“懂”其结构与功能。
</INTERNAL_LINK_CANDIDATES> 点云（由三维坐标组成的数据集合） 网格模型（由顶点、边和面构成的表面表示） 深度图（像素对应距离信息的二维表示） 体素表示（三维空间离散化的体积表示） 多视几何（研究多视角成像关系的理论） 三角测量（利用视线交会求空间点位置） 视差（同一目标在不同视角中的位置偏移） 深度估计（推断场景距离信息的过程） 多传感器配准（对齐不同来源空间数据） 误差最小化（通过优化减小观测与模型差异） 正则化方法（抑制过拟合和噪声的约束手段） 先验知识（用于补全和推断的背景信息） SfM方法（由图像恢复结构与运动的方法） MVS方法（多视图立体重建方法） ICP配准方法（点云迭代对齐方法） 神经隐式表示（用神经网络表示连续几何的方式）