1 基本概念
1.1 数字图像表示
1.1.1 像素与色彩模型
数字图像由有限数量的图像元素——像素组成，每个像素对应图像中一个位置的颜色或亮度值。色彩模型是描述颜色在数字设备中表示方式的数学模型。常见模型包括：RGB模型（红、绿、蓝三通道叠加，用于显示器）、CMYK模型（青、品红、黄、黑四色印刷）、HSV/HSI模型（色相、饱和度、亮度/强度，更符合人类视觉感知）以及灰度模型（单一亮度值，用于黑白图像处理）。在图像处理中，色彩空间的选择直接影响算法效果，例如边缘检测通常在灰度空间进行，而颜色分割则在HSV空间更有效。
1.1.2 空间分辨率与位深度
空间分辨率指图像中单位长度内像素的数量，通常以每英寸像素数（PPI）或每英寸点数（DPI）表示，决定图像的精细程度。高分辨率图像包含更多细节，但占用更大存储空间。位深度表示每个像素可存储的颜色信息位数，灰度图像典型位深度为8位（256级灰度），彩色图像常见24位（RGB各8位，可表示约1670万种颜色）。更高的位深度（如16位/通道）可减少量化误差，用于专业摄影和医学成像。
1.2 图像处理与计算机视觉的区别
图像处理侧重于对图像本身的操作——改善视觉质量、压缩数据、提取底层特征（如边缘、纹理），输出通常仍为图像。计算机视觉则旨在从图像中理解场景、识别物体、推断语义信息，输出为高级描述（如“图中有一只猫”）。两者相互依赖：图像处理为计算机视觉提供预处理（降噪、增强），计算机视觉需求推动新型图像处理算法发展。现代深度学习模糊了两者界限，端到端模型可同时完成处理和理解任务。
2 历史与发展
2.1 早期模拟处理时代
20世纪初期至中叶，图像处理以模拟方式为主。光学透镜、滤光片、胶片显影技术用于调整对比度、锐度和色彩平衡。早期遥感图像通过光学叠加和人工校正增强。1957年，美国国家标准局首次对数字图像进行计算机处理（将照片扫描为数字矩阵）。模拟处理虽灵活，但受限于物理设备精度，无法实现复杂算法。该阶段奠定了图像处理的基本概念（如频域分析的概念源于光学傅里叶变换）。
2.2 数字图像处理诞生（1960年代）
1964年，喷气推进实验室（JPL）利用计算机处理“徘徊者7号”探测器发回的月球图像，消除大气畸变和传感器噪声，标志着数字图像处理作为独立学科诞生。1965年，快速傅里叶变换（FFT）的提出使频域滤波成为可能。1970年代，CT（计算机断层扫描）和MRI（磁共振成像）依赖图像重建技术，推动了算法发展。1974年，JPEG压缩标准的前身开始研究。此阶段基本理论（直方图、卷积、线性滤波）趋于成熟。
2.3 现代深度学习革命（2010年代至今）
2012年，AlexNet在ImageNet竞赛中大幅领先，卷积神经网络（CNN）开始主导图像分类、检测和分割任务。2015年，U-Net架构为医学图像分割建立标准。2017年，生成对抗网络（GAN）广泛应用于图像超分辨率和风格迁移。2020年代，Vision Transformer（ViT）和扩散模型（Diffusion Model）进一步突破，如DALL-E、Stable Diffusion实现文本生成图像。深度学习以数据驱动方式替代传统手工特征设计，极大提升了图像处理精度和自动化水平，同时带来计算成本高、可解释性差等新挑战。
3 核心技术
3.1 图像增强
3.1.1 直方图均衡化
直方图均衡化通过重新分布像素灰度值，使输出图像的直方图近似均匀分布，从而增强全局对比度。尤其适用于曝光不足或过度的图像。算法步骤：计算原始直方图，求累积分布函数（CDF），根据CDF将原始灰度映射到新灰度。自适应直方图均衡化（AHE）在局部区域独立执行，可更精细地增强细节；限制对比度自适应直方图均衡化（CLAHE）通过裁剪直方图顶部抑制噪声放大，广泛用于医学X光图像增强。
3.1.2 空间滤波（平滑与锐化）
空间滤波通过卷积核（滤波器）对图像逐像素操作。平滑滤波：均值滤波（平均邻域像素）、高斯滤波（加权平均，权重基于高斯分布）、中值滤波（取邻域中值，对椒盐噪声有效），用于降噪和模糊。锐化滤波：拉普拉斯算子（二阶导数检测边缘，叠加到原图增强细节）、Sobel算子（一阶梯度估计边缘强度，可同时锐化）。滤波核尺寸和参数需平衡降噪与细节保留。
3.2 图像复原
3.2.1 噪声模型与去噪
噪声模型描述图像传感器引入的随机误差类型，包括高斯噪声（均匀分布在各灰度级）、椒盐噪声（随机白黑像素点）、泊松噪声（与信号强度相关，常见于低光环境）。去噪方法可分为空间域（中值滤波、非局部均值滤波）、变换域（小波阈值去噪）、以及基于模型的变分法（全变分去噪）。现代深度学习方法如DnCNN（卷积神经网络去噪）通过学习残差噪声实现优异性能。强去噪可能丢失纹理，需保留图像结构。
3.2.2 去模糊与超分辨率
图像模糊源于运动（运动模糊）、离焦（高斯模糊）或大气湍流（随机模糊）。去模糊（盲或非盲）通过估计点扩散函数（PSF）并应用逆滤波或维纳滤波恢复清晰图像。超分辨率（SR）从低分辨率图像重建高分辨率版本。传统方法基于插值（双三次）和字典学习（稀疏编码）。深度学习SR领域：SRCNN首次引入CNN，SRGAN结合感知损失与对抗训练生成逼真纹理，EDVR处理视频多帧超分。扩散模型近年生成效果超越GAN。
3.3 图像压缩
3.3.1 无损压缩（PNG、GIF）
无损压缩保证解压后图像与原始逐像素一致。PNG（便携式网络图形）使用DEFLATE算法（LZ77字典压缩+霍夫曼编码）对像素值进行熵编码，支持索引色和Alpha通道。GIF（图形交换格式）基于LZW算法，仅支持256色（索引色），适用于简单动画和低色数图像。无损压缩率通常为2:1至5:1，取决于图像内容。PNG擅长有重复模式的图像（如图标、文字），但对自然照片不高效。
3.3.2 有损压缩（JPEG、HEVC）
有损压缩通过丢弃人眼不敏感的视觉信息实现高压缩比（10:1至50:1）。JPEG（联合图像专家组成标准）步骤：颜色空间转换（RGB→YCbCr）、下采样色度通道（4:2:0）、分块（8×8）离散余弦变换（DCT）、量化（丢弃高频系数）、之字形扫描和熵编码（霍夫曼/算术编码）。JPEG在低码率下产生方块效应和振铃效应。HEVC（高效视频编码）的图像模式（HEIC）采用更灵活的四叉树分块、更大变换（32×32）、帧内预测和自适应环路滤波，相同质量下比特率比JPEG降低约50%。WebP和AVIF是更新的有损/无损混合格式。
3.4 图像分割
3.4.1 阈值分割
阈值分割根据像素灰度值与一个或多个阈值比较，将图像分为前景和背景。全局阈值法（如Otsu算法）通过最大化类间方差自动选择最优阈值。局部阈值法（如Sauvola算法）根据窗口内统计量自适应变化，适用于光照不均场景。彩色图像分割可扩展至多通道阈值。阈值分割简单快速，但对噪声和灰度重叠敏感，常需结合形态学后处理（腐蚀、膨胀去除小区域）。
3.4.2 边缘检测（Canny、Sobel）
边缘检测识别图像中亮度突变的像素集合。Sobel算子计算水平和垂直方向的一阶导数梯度幅值，方法简单但对噪声敏感。Canny边缘检测算法包括：高斯平滑降噪、计算梯度幅值和方向（使用Sobel）、非极大值抑制（保留梯度方向上的局部最大值）、双阈值滞后阈值化（高阈值确定强边缘，低阈值连接弱边缘）。Canny能够提取单像素宽、连续的边缘，成为经典基准。改进版本如Canny with Otsu自动阈值、DeepEdge利用深度学习细化和预测边缘。
3.5 特征提取与描述
3.5.1 局部二值模式（LBP）
LBP是一种纹理描述子，对图像局部区域的像素进行局部对比度编码。基本LBP：取3×3邻域，中心像素与邻域8个像素比较，大于中心置1否则置0，形成8位二进制数（0-255）作为纹理特征。扩展形式包括圆形邻域LBP、旋转不变LBP和均匀模式LBP（减少维度）。LBP计算简单、光照鲁棒，广泛用于人脸识别（与AdaBoost结合检测人脸）和纹理分类（如织物疵点检测）。
3.5.2 尺度不变特征变换（SIFT）
SIFT特征在图像平移、旋转、缩放和光照变化下保持稳定。步骤：(1) 尺度空间极值检测（高斯差分金字塔寻找潜在关键点）；(2) 关键点精确定位（剔除低对比度和边缘点）；(3) 主方向分配（基于梯度直方图峰值）；(4) 描述子生成（在关键点邻域内计算8方向梯度直方图，形成128维向量）。SIFT用于图像匹配、目标识别和三维重建。其计算成本较高，加速变种如SURF（使用积分图近似）、ORB（二进制描述子）更适合实时场景。2010年代以来，基于学习的特征描述子（如SuperPoint、D2-Net）在鲁棒性上超越手工设计。
4 应用领域
4.1 医学影像诊断
图像处理在X光、CT、MRI、超声和病理切片分析中发挥核心作用。常用技术：直方图均衡化增强对比度、去噪滤波预处理、边缘检测辅助器官边界提取、图像分割（如U-Net）识别肿瘤或病变区域、图像配准融合多模态影像（PET-CT）。深度学习实现了皮肤癌分类（准确率超过皮肤科医生）、视网膜病变检测和COVID-19肺部CT分析。医学图像处理需严格满足医疗级精度和可解释性要求。
4.2 遥感与地理信息系统
卫星和航空影像处理用于土地利用分类、城市扩张监测、农业估产、灾害评估（洪灾、火灾）。关键技术：图像融合（全色锐化提高空间分辨率）、监督分类（最大似然法、支持向量机）、变化检测（差分法、主成分分析）。近年来，深度学习语义分割（如DeepLab、SegFormer）大幅提升地物分类精度。遥感图像的大幅面、多光谱、多时相特性要求处理算法具备高效率和抗噪能力。
4.3 工业自动检测
机器视觉系统通过图像处理对产品进行外观缺陷检测、尺寸测量、字符识别（OCR）和定位引导。常见应用：电子元件焊点检测（通过模板匹配和差影法）、纺织布匹疵点检测（Gabor滤波加纹理分析）、食品包装密封完整性检查。深度学习目标检测（YOLO、Faster R-CNN）用于实时在线检测金属表面划痕。工业环境对鲁棒性（光照变化、产品倾斜）和实时性（毫秒级推理）要求苛刻。
4.4 安防与生物识别
安防领域依赖人脸识别、指纹识别、虹膜识别和步态识别。图像处理包括预处理（光照归一化、人脸对齐）、特征提取（LBP、深度学习特征嵌入）和匹配。人脸识别深度模型（FaceNet、ArcFace）在非约束场景下达到高准确率。目标跟踪（均值漂移、卡尔曼滤波、SORT算法）用于监控视频中人员行为分析。行人重识别技术跨摄像头检索个体。生物识别的隐私性（如欧盟GDPR）和防欺骗（活体检测）是持续挑战。
4.5 娱乐与艺术（滤镜、图像风格迁移）
手机相机中的数字滤镜（美白、磨皮、美颜）基于双边滤波、自适应直方图均衡和局部色调映射。图像风格迁移（2015年Gatys等人提出）利用VGG网络提取内容与样式特征，通过优化保持内容结构并匹配样式统计量。实时风格迁移（如Fast Neural Style、AdaIN）允许视频级处理。生成对抗网络（如CycleGAN）实现无配对图像转换（照片转二次元、白天转黑夜）。扩散模型（Stable Diffusion、Midjourney）可从文字描述生成高美学图像。这些技术促进了社交媒体、电影特效和数字艺术的创作。
5 挑战与前沿
5.1 实时性与计算效率
深度学习模型的高计算需求与实时应用矛盾。边缘设备（手机、无人机、嵌入式系统）受限于功耗和算力。解决方案包括模型轻量化（MobileNet、ShuffleNet、剪枝量化）、专用硬件（NPU、TPU）、推理加速框架（TensorRT、ONNX Runtime）。传统方法（如快速傅里叶变换）在特定场景仍有优势。未来方向：神经架构搜索（NAS）自动设计高效模型、事件相机（基于脉冲）实现超低延迟处理。
5.2 对抗攻击与鲁棒性
深度神经网络易受微小、人眼不可见的扰动（对抗样本）欺骗，导致分类错误或输出异常图像。例如，贴一张小贴纸能使停车标志识别为限速标志。防御方法包括：对抗训练（添加对抗样本训练）、输入变换（随机平滑、JPEG压缩）、认证鲁棒性（区间传播）。标准化测试基准（如ImageNet-A、CIFAR-10-C）推动鲁棒性研究。医疗与自动驾驶领域对抗攻防尤为关键。
5.3 生成式图像处理（GANs、扩散模型）
生成式模型从潜在分布合成逼真图像。GAN通过生成器与判别器博弈，擅长高精度图像生成（StyleGAN产生可操控人脸属性）、图像修复（填充缺失区域）、超分辨率和文本生成图像（DALL-E 2）。扩散模型通过逐步加噪和去噪生成图像，在样本多样性和模式覆盖上超越GAN，代表性模型Stable Diffusion、Midjourney引发图像合成浪潮。挑战包括：可控生成（布局引导、多主题一致性）、版权与伦理问题（深度伪造检测）、计算资源消耗（扩散模型需数十步迭代）。未来趋势：统一模型（如文本、图像、视频多模态处理）和实时交互式生成。