1 概念与基本原理
1.1 何谓GPU并行
1.1.1 大量相同运算的并行化思路
GPU并行指将计算问题拆解为大量“结构相近、运算类型相同”的小任务，例如对每个像素做同样的滤波、对每个样本计算相同的前向算子，或在网格点上执行同类的数值更新。由于这些子任务在逻辑上高度同构，它们可以在硬件中以统一的方式批量执行，从而减少调度开销，并提升整体吞吐。
1.1.2 GPU线程并行与吞吐量提升
GPU通常由成千上万的并行线程或工作项同时推进，借助硬件对访存与执行的流水化管理，尽量在等待数据时切换到其他就绪线程，让计算资源持续处于高利用状态。对适合并行的数据处理流程而言，这种“以并行覆盖延迟”的策略能够显著降低单位数据的处理成本，从而体现为吞吐量提升。
1.2 并行执行模型（SIMT思想）
1.2.1 线程、束/波前与分支一致性
在很多GPU架构中，线程并不会以完全独立的方式逐条执行，而是以束（warp）或波前（wavefront）等分组形式进行同步步推进。组内线程通常共享同一条指令路径；当代码存在条件分支且各线程结果不一致时，执行会分段覆盖不同路径，导致同组线程的有效并行度下降，即常说的“分支发散”。
1.2.2 数据并行与任务并行的差异
数据并行强调对多份数据执行同样的操作；任务并行则是不同子任务彼此之间可能执行不同类型的计算。GPU并行更擅长数据并行：当问题能被组织成对大量元素的同构计算时，线程分组执行模式能够发挥优势。若任务差异过大，或每个线程需要执行复杂且不规则的控制流，性能便可能随之下降。
1.3 GPU硬件组成与并行度来源
1.3.1 流式多处理器（SM/MP）与调度
GPU通常由多个流式多处理器（SM/MP）组成。每个SM/MP内部包含若干执行单元与调度资源，可同时维护多个线程块（或等价的工作组）以隐藏访存延迟。并行度的来源不仅来自“有多少线程”，还来自硬件能否在不同任务间快速切换、保持执行流水连续。
1.3.2 显存/缓存层级与带宽瓶颈
GPU内存体系往往采用层级结构：寄存器和共享存储用于快速复用，中间层缓存用于降低访问延迟，全局显存承担大容量数据存放。由于带宽有限，性能常常被“数据能否被高效取用”所决定。即便计算单元很强，如果访问模式导致带宽利用率低，吞吐也会被瓶颈拖慢。
2 任务映射与线程组织
2.1 计算任务的拆分方式
2.1.1 数据分块（分行/分列/分batch）
拆分通常从数据结构出发：二维或三维数据可按行列切分，批量数据可按样本切分，序列数据可按片段切分。选择合适的分块方式能影响线程访问的连续性、缓存复用机会以及边界处理的复杂度。良好的分块通常能让相邻线程访问相邻数据，便于硬件实现更有效的内存访问。
2.1.2 映射到输出元素或中间特征
常见策略是“一线程负责一个或少量输出元素”：例如对每个输出像素分配线程，对每个矩阵元素分配线程，或对某层网络的某个特征位置分配计算。还可以将中间表示划分为多个子区域，让每个线程块处理一个局部子图，从而利于使用共享存储完成子区域内的复用与协同计算。
2.2 线程层级与索引计算
2.2.1 网格/栅格与线程块/工作组
GPU并行编程常将整体计算组织为“网格（grid）→线程块（block）→线程（thread）”的层级。网格负责覆盖全部数据范围，线程块负责局部协作，线程负责执行具体运算。线程块的大小与形状也会影响并行调度、共享存储使用效率以及访存合并程度。
2.2.2 线程ID、块ID与全局索引
为了确保每个线程处理正确的数据，需要通过线程ID与块ID组合计算全局索引。通常做法是将块在网格中的位置映射到数据的起始坐标，再叠加线程在块内的偏移。索引计算的正确性直接决定结果是否对应到正确元素，并影响边界区域的处理策略。
2.3 边界处理与工作不足补齐
2.3.1 残差数据的条件判断
当数据规模不整除线程组织形状时，末尾会出现“残差”。这类区域往往需要条件判断以避免越界读写，例如仅当全局索引落在有效范围内才执行主逻辑。合理的条件判断可以确保正确性，但过多或过于复杂的分支也会降低有效吞吐。
3.2 越界保护与性能权衡
越界保护的常见形式包括提前返回、将无效元素写回默认值、或通过调整网格尺寸减少无效线程。越界保护与性能之间存在权衡：保护越精细，可能引入更多分支与判断；保护越宽松，则可能造成无效计算浪费或潜在的内存访问风险。
3 内存体系与性能关键点
3.1 访存模式：合并访问与局部性
3.1.1 合并（coalescing）访问的意义
合并访问指让同一束/波前内的线程以更接近连续的方式访问内存，使得硬件能够用更少的事务完成数据获取。若线程访问呈随机跳转，会导致访问无法合并、事务数量增加，从而显著拉低有效带宽。对于带宽受限的场景，合并访问往往比“提高算力利用率”更关键。
3.1.2 共享数据的局部性设计
局部性设计强调在短时间内多次使用的数据应尽量放入更快的存储层。共享内存或等价的片上存储可用于让线程块内共享临时结果，减少反复从全局显存读取的次数。通过合理的分块与复用策略，可降低访存压力并提升计算密度。
3.2 层级内存：寄存器、共享内存与全局内存
3.2.1 寄存器使用与寄存器溢出风险
寄存器访问速度快，但资源有限。若内核的寄存器占用过高，可能导致单个SM/MP上可同时驻留的线程块数量下降（占用率下降），从而降低隐藏延迟的能力。此外，在某些实现中寄存器不足还可能引发溢出到更慢的存储层，进一步影响性能。
3.2.2 共享内存/本地缓存的复用策略
共享内存的复用需要考虑读写模式与潜在冲突。例如当多个线程以不利方式访问同一地址区域时，可能降低有效吞吐。通过调整数据布局、采用分块搬运与分阶段计算，可以让共享内存承担“先缓存、再复用”的角色，从而提高整体效率。
3.3 传输开销与重叠（Compute/Copy Overlap）
3.3.1 主机-设备拷贝的成本
GPU计算通常伴随主机到设备、设备到主机的数据传输。数据传输相对算术运算往往更慢，且在大量小拷贝场景下尤为明显。为减少开销，可以增加批量、复用驻留数据、并减少不必要的同步点，从而让传输成本不至于主导总时间。
3.3.2 流（Stream/Command Queue）与并行流水
使用流或命令队列可以将拷贝与计算在时间上重叠：例如一部分数据正在从主机传输到设备，另一部分数据的内核计算正在进行。只要硬件与驱动支持并且依赖关系组织合理，就能形成更连续的流水，从而提高端到端吞吐。
3.4 分支与访存冲突的代价
3.4.1 发散分支对吞吐的影响
当同一束/波前内线程走不同分支路径，执行需要按路径分段进行，期间未参与当前分支的线程处于等待状态。结果是有效并行减少、指令吞吐下降。适当的重构（例如将条件判断移出关键路径、使用更统一的数据处理方式）可缓解发散带来的损耗。
3.4.2 共享资源竞争与延迟
共享资源包括共享内存端口、缓存或寄存器带来的限制。当多个线程同时请求同一资源或形成不利访问模式时，会产生额外延迟。除此之外，同步点过多也会让线程组等待更久，进一步削弱并行效率。
4 并行编程模型与工具链
4.1 常见GPU并行编程框架
4.1.1 CUDA（概念与典型抽象）
CUDA提供了面向GPU的编程抽象，常见结构包括在GPU上运行的Kernel、组织线程层级的网格与线程块、以及用于主机与设备交互的内存管理与流控制。其典型特点是将并行执行模型映射得较为细致，便于对线程层级与内存行为做优化。
4.1.2 OpenCL（概念与典型抽象）
OpenCL提供跨硬件的并行编程接口，允许开发者在兼容的设备上运行同类的并行内核。它强调平台与设备的抽象，使得相同源代码在不同厂商硬件上部署的成本更低。与具体架构相关的性能差异仍需要通过合理的数据布局与访存策略来应对。
4.1.3 WebGPU/跨平台接口（概念与典型抽象）
WebGPU面向Web环境提供GPU加速能力，通常通过着色器式的并行计算或计算管线来组织工作。其抽象目标是让开发者在浏览器生态中获得并行计算能力，典型用途包括图像处理、图形相关计算与一定规模的数据并行任务。
4.2 内核（Kernel）与并行执行配置
4.2.1 启动参数：网格/块维度
Kernel启动时通常需要指定网格维度与线程块维度。网格负责覆盖输入数据范围，线程块决定协作范围与资源消耗。合理的维度选择应兼顾合并访问、边界处理开销、寄存器与共享内存占用，以及硬件调度偏好。
4.2.2 Kernel函数结构与同步点
Kernel函数一般包含索引计算、边界判断、加载数据、执行核心运算、写回结果等阶段。同步点通常出现在需要线程间协作（例如共享内存填充后再统一读取）的位置。同步过少可能导致读写竞争，同步过多又会引入等待，从而需要平衡。
4.3 同步与屏障机制
4.3.1 线程块内同步
线程块内同步用于协调共享内存或局部计算阶段的先后顺序。其成本通常比全局同步更可控，但仍会影响并行效率。因此，协同计算应尽量设计为“分阶段、少等待”的模式，避免频繁插入屏障。
3.2 全局同步的常见替代策略
全局同步开销通常更高，因而常见替代策略包括：将计算拆分为多个Kernel分阶段，由核函数之间的自然调度实现全局顺序；或采用原子操作、并行归约的结构化算法来减少对全局同步的依赖。具体方案取决于数据依赖关系。
5 优化方法与调优思路
5.1 性能瓶颈定位
5.1.1 计算受限 vs 内存受限
优化首先要判断瓶颈属于计算还是访存。计算受限通常意味着算术单元忙而访存并不阻塞；内存受限则表现为大量时间等待数据到达。通过观察带宽利用、吞吐变化与性能计数器，能帮助确定应优先调整算子复杂度还是访存与数据布局。
5.1.2 利用分析器与性能指标
性能分析工具通常提供内核级统计，例如占用率、未合并访问比例、分支发散程度、以及不同存储层的访问命中情况。基于这些指标，开发者可以将优化动作从“猜测”转向更具针对性的改动。
5.2 算法层面的并行友好改写
5.2.1 批处理与向量化数据布局
将原本逐个处理的流程改写为批量处理，有助于提升数据复用与并行度。向量化数据布局强调将数据在内存中按更利于硬件访问的顺序排列，从而提高合并访问概率，并减少不规则访问引起的低效率。
5.2.2 采用更适合并行的计算图
某些算法的依赖关系会阻碍并行展开。通过重新组织计算图（例如将可并行的子步骤提前、将串行依赖局部化），可以让更多计算在同一时间窗口中并行执行，提升整体吞吐。
5.3 典型优化技巧
5.3.1 预取与减少访存
预取指在真正使用数据之前提前发起加载，使得访存延迟更可能被计算覆盖。与此同时，减少重复读取、合并多个小读取请求、以及把中间结果缓存到更快的存储层，都是常见做法。
5.3.2 降低分支与改写条件逻辑
通过数据重排、掩码计算或分段处理，减少线程间的控制流差异，可以降低分支发散带来的损失。将条件判断从热路径移开，或在必要时将稀疏逻辑转化为更规则的处理，也能提升吞吐。
5.3.3 使用共享内存做“分块计算”
分块计算让线程块先把一部分数据搬到共享存储，再在共享范围内进行多次计算。该方法常用于卷积、矩阵乘相关计算或局部邻域访问问题，目的在于用共享存储的高带宽抵消全局显存的读写成本。
5.4 资源占用与并发度权衡
5.4.1 占用率（occupancy）与线程数选择
占用率描述了SM/MP上可同时驻留线程块的比例。过低的占用率会使得硬件难以用其他线程掩盖访存延迟；过高则可能导致资源竞争（寄存器或共享内存不足）从而反而降低有效性能。线程数与块大小需要结合资源占用与硬件限制综合选取。
5.4.2 寄存器/共享内存占用的影响
内核的资源消耗越大，允许驻留的并行工作单元越少。优化时通常要在“单次线程更多临时变量以减少重复计算”与“保持更高并发度以隐藏延迟”之间做取舍，这类平衡往往通过迭代调整编译选项与代码结构实现。
6 应用场景
6.1 图像与视频处理
6.1.1 像素级并行与卷积类运算
图像处理中大量操作可直接对应到像素或局部窗口，例如卷积滤波、边缘检测与特征提取。这些任务天然具有数据并行特征，适合将每个输出像素由不同线程块或线程负责，从而高效利用并行执行。
6.1.2 颜色空间转换与滤波
颜色空间转换、降采样、去噪滤波等也常以元素级操作为核心。若数据布局与访存访问方式设计得当，可实现更高的带宽效率，使得实时或准实时处理成为可能。
6.2 深度学习训练与推理
6.2.1 张量并行与算子并行的联系
深度学习算子（如矩阵乘、卷积、归一化等）普遍能够被分解为大量相同或相近的计算子任务。训练与推理中还可能涉及多层算子串联，通过将算子级别的并行能力与整体计算图调度结合，形成更高的端到端效率。
6.2.2 小批量与大批量的效率差异
批量大小影响并行度与数据传输效率。批量较小时，GPU可能无法充分填满并行资源，单位数据开销较高；批量较大时并行度更充分，但也可能带来显存占用与延迟变化。实际工程常需要在吞吐与延迟之间选择合适折中。
6.3 科学计算与数值模拟
6.3.1 网格计算与离散化并行
许多物理或工程问题可离散到网格点，随后对每个格点执行类似更新方程。只要相邻点之间的依赖在局部范围内可组织成可并行的访存与同步模式，GPU并行便能有效加速迭代求解。
6.3.2 线性代数与迭代方法
线性代数操作与迭代算法（如求解方程组、迭代更新）通常涉及大量乘加与归约类运算。通过合理的数据布局与归约策略，可以在保持数值稳定与性能之间取得平衡。
6.4 哈希、搜索与数据处理
6.4.1 大规模相同计算的批量化
哈希或特征提取等任务往往对每条输入执行相似计算。将输入批量化后，线程可以更规律地处理数据，提升合并访问与吞吐，适合在数据密集型处理流水中部署。
6.4.2 相似度计算与检索加速
相似度计算常包含向量距离、点积或范数相关操作，可被组织为并行的候选比较。若索引结构与数据排布支持快速访问，GPU便能在批量检索中显著降低响应时间。
7 局限性与风险
7.1 并行并非总是“更快”
7.1.1 小规模任务的启动开销
GPU内核启动、数据搬运以及同步带来的固定开销，在小规模任务中可能占比很高，导致加速不明显甚至变慢。通常需要达到一定规模，才能让并行带来的吞吐优势覆盖这些开销。
7.1.2 不规则数据导致的性能下降
当输入数据形态高度不规则，例如稀疏图结构、长度差异很大或访问模式高度随机，会导致合并访问减少、分支发散增加，从而让性能难以发挥。对这类问题往往需要特定的重排、压缩或算法改写。
7.2 精度与数值稳定性
7.2.1 浮点误差与舍入差异
并行归约或并行运算顺序可能与CPU执行顺序不同，浮点舍入误差会随之变化。工程上常通过选择合适的精度类型、采用更稳健的归约策略或引入容忍阈值来降低误差影响。
7.2.2 并行归约的非确定性影响
归约类操作的执行次序可能随并行调度而变化，导致结果存在细微差异。若应用对可复现性要求较高，需要使用特定的归约组织方式或调试策略来验证一致性。
7.3 开发复杂度与调试难点
7.3.1 竞态条件与同步错误
线程并发访问共享数据时，若缺少必要同步或索引计算不一致，可能出现竞态条件，表现为间歇性错误或结果漂移。此类问题通常难以复现，调试成本较高。
7.3.2 复现问题与工具支持
并行程序的执行时序受多种因素影响。为了提升可排查性，开发者往往依赖编译器与运行时提供的诊断工具、增加可观测性日志（在必要范围内）以及通过小规模输入进行对照验证。
8 术语与小知识（含轻度梗）
8.1 常见术语速查
8.1.1 Kernel、Thread、Block、Warp/Wavefront
Kernel指在GPU上并行执行的函数入口；Thread表示单个并行执行单元；Block表示线程的协作分组，线程块内通常可共享并同步；Warp或Wavefront表示硬件将线程按组推进的基本执行分组，组内分支一致性对性能影响显著。
8.1.2 吞吐量、延迟、带宽的含义
吞吐量描述单位时间内完成的工作量；延迟描述一次任务从开始到完成所需的时间；带宽用于衡量数据传输能力。GPU优化常同时关注这三者的变化，其中“延迟抖动”与“吞吐上限”往往由不同因素主导。
8.2 “把GPU当大号CPU”的常见误区
8.2.1 为什么并行需要合适的数据布局
GPU擅长的是规则的数据并行与良好的访存模式。若数据布局导致线程访问高度不连续，就算计算非常简单也会被访存拖慢，出现“算得快但等得久”的情况。
8.2.2 为什么发散会“让GPU发呆”
当线程在分支上走向不同路径时，同组线程需要按路径逐段执行，其他线程处于等待。表面上线程很多，但有效执行并未并行起来，因而出现硬件“看起来很忙、实际很闲”的错觉。
8.3 幽默比喻：GPU像“食堂打菜窗口”
8.3.1 大量相同菜品更高效
想象窗口一次性为很多人打同一种菜：配料、步骤和节拍都统一，效率自然高。GPU也是类似逻辑：对大量结构相同的运算，线程执行更一致，合并访存与流水调度更容易发挥优势。
8.3.2 小众定制菜导致排队与浪费
如果每个人都要不同口味、不同加料、还经常临时改要求，窗口就得不断切换流程，排队会变长，还容易把等待变成常态。类比到GPU就是不规则分支和随机访存：任务越“私人订制”，并行越难保持高效，吞吐就会被拖累。