1 基本概念
1.1 定义与核心思想
联邦学习是一种分布式机器学习方法，其核心在于“数据留在本地，模型协同更新”。在这种范式下，多个参与方不直接交换原始样本，而是在各自设备或机构内部完成训练，再将参数、梯度或其他中间信息提交给协调方进行聚合，从而形成更强的全局模型。 这一机制兼顾了数据利用与信息隔离，尤其适合数据分散、难以集中存储或不便共享的环境。
1.2 发展背景
联邦学习的兴起，主要源于数据规模快速增长与数据孤岛现象并存的现实。移动终端、医疗机构、金融组织等场景中，数据往往分布在多个独立主体之中，既有协作建模的需求，也存在隐私、合规和成本方面的限制。 在此背景下，联邦学习逐渐成为一种折中方案：既能利用多源数据提升模型效果，又避免了将原始数据集中到单一平台所带来的管理压力。
1.3 与传统集中式学习的区别
传统集中式学习通常将所有训练数据汇聚到统一服务器，再进行模型训练；而联邦学习则不要求数据集中，训练过程在本地和全局之间循环进行。两者的差异主要体现在数据流向、隐私暴露面和系统结构上。 集中式学习更便于统一管理和优化，但对数据收集、传输与存储要求较高；联邦学习则更强调分布式协作，但往往需要面对通信频繁、数据分布不一致以及系统复杂度更高等问题。
1.4 与分布式学习的关系
联邦学习可以视为分布式学习的一个特殊分支，但二者关注点并不完全相同。分布式学习更多强调计算任务的拆分与并行加速，数据通常默认可被系统内部访问；联邦学习则突出跨主体协作、数据不出域以及隐私保护。 因此，联邦学习不仅是算法问题，也涉及通信协议、权限管理、隐私机制和系统工程等多个层面。
2 分类与类型
2.1 按数据分布划分
2.1.1 横向联邦学习
横向联邦学习适用于参与方拥有相似特征空间，但样本集合不同的情况。可以理解为“特征相同、用户不同”。例如，不同地区的同类平台可能记录相近的行为字段，但各自用户群体并不重合。 这类方法通常较容易构建联合模型，因而是联邦学习中较常见的基础形态。
2.1.2 纵向联邦学习
纵向联邦学习适用于样本重叠、特征不同的场景，即“用户相同、特征不同”。例如，多家机构对同一批对象持有不同维度的信息，但各自只能访问局部字段。 这类方法通常需要更复杂的实体对齐和特征协同机制，工程实现难度也相对更高。
2.1.3 联邦迁移学习
联邦迁移学习通常用于样本重叠少、特征空间也存在差异的情况。它借助迁移学习思想，把已有知识从一个域迁移到另一个域，同时避免数据直接共享。 与前两类相比，这一方向更强调知识复用与跨域适配，适合数据关系较弱但又希望建立协同模型的场景。
2.2 按参与主体划分
2.2.1 设备级联邦学习
设备级联邦学习通常发生在大量终端设备之间，例如手机、可穿戴设备或家用智能终端。其特点是参与节点数量多、单节点算力有限、在线状态变化频繁。 这类环境对通信效率、能耗控制和训练调度提出了较高要求。
2.2.2 机构级联邦学习
机构级联邦学习主要面向医院、银行、企业或实验室等组织级主体。与设备级相比，机构级节点数量较少，但数据更敏感，模型目标也更专业化。 由于参与方通常具备较稳定的算力和存储能力，因此更适合进行复杂协同与高精度建模。
2.3 按训练架构划分
2.3.1 中心化联邦学习
中心化联邦学习由一个中央服务器负责协调训练轮次、接收更新并完成聚合。大多数经典联邦学习框架都采用这种方式。 其优点是结构清晰、易于管理；不足之处在于对中心节点依赖较强，一旦协调方性能不足或出现故障，整体流程可能受到影响。
2.3.2 去中心化联邦学习
去中心化联邦学习不依赖单一中央服务器，而是由多个节点通过点对点或局部拓扑完成协作。 这种方式有助于降低中心瓶颈，并提升系统弹性，但在一致性维护、消息传递和收敛控制方面通常更复杂。
3 关键技术
3.1 本地训练机制
3.1.1 本地数据预处理
在联邦学习中，各节点通常先对本地数据进行清洗、归一化、特征编码或缺失值处理，以保证训练输入的一致性和可用性。 由于各端数据质量往往不完全相同，预处理环节对最终效果有明显影响。
3.1.2 局部模型更新
本地训练是联邦学习的基础步骤。客户端在接收到全局模型后，利用本地数据进行若干轮迭代更新，再将结果反馈给协调端。 局部更新轮次、学习率和批量大小等参数，都会影响收敛速度与模型稳定性。
3.2 模型聚合方法
3.2.1 参数平均
参数平均是最常见的聚合方式之一，即将多个客户端上传的模型参数进行简单平均，得到新的全局模型。 该方法实现简洁，适合作为基础方案，但在数据分布差异较大时，效果可能受到影响。
3.2.2 加权聚合
加权聚合会根据客户端样本量、可信度或历史表现赋予不同权重，使贡献更大的节点对全局模型影响更明显。 这种方法比简单平均更灵活，也更符合现实中的数据不均衡情况。
3.2.3 自适应聚合
自适应聚合会结合训练过程中的误差、梯度变化或客户端状态动态调整聚合策略。 它能够更有针对性地处理异构数据与非均衡参与，但算法设计通常更复杂。
3.3 通信机制
3.3.1 同步训练
同步训练要求所有或大部分客户端在同一轮次完成本地更新后，再统一上传结果并等待下一轮指令。 这种方式便于控制全局节奏，但容易受到慢节点影响。
3.3.2 异步训练
异步训练允许客户端在不同时间完成上传，服务器可在收到更新后立即处理。 它能提高系统利用率，减少等待，但也更容易引入版本不一致和收敛波动。
3.4 隐私保护技术
3.4.1 差分隐私
差分隐私通过向参数更新或输出结果中加入噪声，降低从模型反推出单个样本信息的可能性。 它在保护隐私方面较为常用，但通常会带来一定精度损失。
3.4.2 安全多方计算
安全多方计算允许多个参与方在不暴露各自原始输入的情况下，共同完成某些计算任务。 在联邦学习中，它常用于保护参数汇总过程，使中间信息更难被直接读取。
3.4.3 同态加密
同态加密使数据可以在密文状态下参与运算，解密后仍得到正确结果。 该技术隐私性较强，但计算开销较大，因而在实际部署中往往需要权衡性能与安全性。
3.5 鲁棒性与安全防护
3.5.1 抗投毒攻击
投毒攻击指恶意客户端通过上传异常更新，干扰全局模型。 抗投毒机制通常通过鲁棒聚合、异常检测或可信度评估来降低此类风险。
3.5.2 抗模型逆向推断
模型逆向推断试图从梯度或参数中恢复训练数据特征。 为应对此类问题，系统常结合隐私保护、梯度裁剪和信息压缩等措施，减少敏感信息泄露。
3.5.3 异常客户端检测
异常客户端检测用于识别行为偏离正常模式的参与节点，例如更新幅度异常、梯度方向突变或上传频率异常。 该机制有助于提升系统稳定性，并为后续的剔除、降权或复核提供依据。
4 典型算法
4.1 FedAvg
FedAvg是联邦学习中最具代表性的算法之一。它采用“本地多步更新 + 服务器平均聚合”的流程，在结构上较为简洁，便于实现。 由于兼顾了通信效率与训练效果，FedAvg常被视为联邦学习的基础基线。
4.2 FedProx
FedProx在本地目标函数中加入了近端项，用于限制客户端模型偏离全局模型过远。 这一设计有助于缓解数据异质性带来的训练不稳定问题，尤其适合各客户端分布差异明显的场景。
4.3 Scaffold
Scaffold引入控制变量来校正本地更新中的漂移，减少不同客户端之间因数据分布不同而产生的偏差。 与基础方法相比，它在收敛稳定性方面通常更有优势。
4.4 个性化联邦学习算法
个性化联邦学习强调“共享一部分，保留一部分”，即在全局协同的同时，为不同客户端保留定制化能力。 这一方向适合参与方差异较大的环境，因为单一统一模型未必能兼顾所有节点需求。
4.4.1 基于元学习的方法
基于元学习的方法希望模型具备快速适应新客户端或新任务的能力。 这类方法适用于需要少量本地样本即可完成适配的场景。
4.4.2 基于正则化的方法
基于正则化的方法通过约束模型参数，使个性化模型在保持本地特色的同时，不至于完全偏离共享知识。 其实现方式通常较直接，训练过程也相对稳定。
4.4.3 基于多任务学习的方法
基于多任务学习的方法将不同客户端视为相关任务，并在联合优化中共享有用表示。 这种方式有助于提取共性与差异并存的结构信息。
5 系统架构
5.1 客户端设计
5.1.1 终端设备
在终端设备场景中，客户端往往需要在有限算力、内存和电量条件下完成训练任务。 因此，模型压缩、轻量化训练和任务调度通常是设计重点。
5.1.2 边缘节点
边缘节点介于终端与中心服务器之间，能够承担部分预处理、缓存和聚合任务。 它们可在一定程度上缓解通信压力，并提升局部响应速度。
5.2 服务器设计
5.2.1 参数协调
服务器负责接收各客户端上传的更新，并决定聚合顺序、轮次控制和参与者筛选。 这一环节直接影响训练效率与系统稳定性。
5.2.2 全局模型管理
全局模型管理包括版本维护、模型发布、回滚以及训练状态记录。 良好的管理机制有助于追踪训练进展，并在异常情况下快速恢复。
5.3 通信与存储架构
5.3.1 带宽优化
由于联邦学习需要频繁传输模型信息，带宽优化成为重要问题。 常见思路包括梯度压缩、稀疏上传、量化编码和选择性通信等。
5.3.2 断点续训
断点续训用于处理节点掉线、网络波动或训练中断等情况。 借助状态保存与恢复机制，系统可从中断处继续推进，减少重复计算。
5.4 联邦学习平台
5.4.1 开源框架
开源框架通常提供基础训练流程、通信接口与算法组件，便于研究人员快速实验和二次开发。 它们在学术研究和原型验证中具有较高使用率。
5.4.2 商业平台
商业平台更注重工程化、稳定性和部署效率，往往集成权限管理、监控审计和安全控制等功能。 这类平台适合对可用性和合规性要求较高的行业应用。
6 应用领域
6.1 移动互联网
6.1.1 输入法与预测
联邦学习常用于输入法词预测、候选排序和个性化补全等任务。 这些应用需要利用大量分散在终端上的行为数据，同时又不便集中收集原始输入。
6.1.2 个性化推荐
在推荐系统中，联邦学习可帮助平台学习用户偏好，并尽量减少对本地行为数据的直接获取。 这类方案通常强调个体差异与长期兴趣建模。
6.2 医疗健康
6.2.1 多院协同建模
多家医疗机构可以在不交换患者原始病历的前提下共同训练模型，用于疾病预测、风险分层或辅助诊断。 这类协作有助于扩大样本覆盖范围，提升模型泛化能力。
6.2.2 医学影像分析
联邦学习也常用于影像识别、病灶分割和辅助阅片等任务。 在医学影像数据分散于不同医院的情况下，它能够支持跨机构模型协作。
6.3 金融科技
6.3.1 风险评估
金融机构可借助联邦学习对客户风险进行建模，同时避免直接共享敏感业务数据。 这有助于在控制信息暴露的前提下提升评估精度。
6.3.2 反欺诈分析
联邦学习可用于识别异常交易模式、账户风险特征或可疑行为轨迹。 由于欺诈模式往往分散在多个平台，协同训练有助于增强识别能力。
6.4 智能制造
6.4.1 设备故障预测
在工业场景中，多台设备产生的运行数据可用于训练故障预测模型。 联邦学习能够在不集中采集全部原始数据的情况下，支持跨设备知识共享。
6.4.2 质量检测
联邦学习可用于外观缺陷识别、工艺异常分析和质量分级。 当不同产线或工厂之间的数据分布存在差异时，这种方法尤其具有实用价值。
6.5 物联网与边缘计算
6.5.1 传感器协同分析
大量传感器可通过联邦方式共同训练模型，用于环境监测、状态识别和趋势预测。 这类系统通常数据来源多、更新频率高，适合边缘协同处理。
6.5.2 边缘智能
联邦学习与边缘计算结合后，可在靠近数据源的位置完成更多推理与训练任务。 这不仅有利于降低时延，也能减少中心服务器的压力。
7 优势与挑战
7.1 主要优势
7.1.1 数据不出域
联邦学习最显著的特点之一，是原始数据保留在本地环境中。 这一点降低了数据集中管理的难度，也更符合部分场景的合规要求。
7.1.2 提升协同效率
通过联合多个节点的局部知识，联邦学习可以在数据无法集中时仍然形成较强的全局模型。 它使原本割裂的数据资源获得一定程度的协同效应。
7.1.3 改善隐私合规性
由于减少了原始数据流转，联邦学习在隐私保护和审计管理方面具有一定优势。 这使其在敏感行业中更容易被接受。
7.2 主要挑战
7.2.1 数据异质性
不同客户端的数据分布往往并不一致，甚至存在明显偏差。 这种异质性会影响模型收敛速度和最终性能。
7.2.2 通信成本高
联邦学习需要频繁进行参数交换，通信开销有时甚至成为主要瓶颈。 在网络条件不佳或节点数量庞大时，这一问题尤为突出。
7.2.3 训练不稳定
由于参与方在线状态、数据质量和更新节奏不同，训练过程可能出现震荡或收敛缓慢。 这要求算法和调度机制更为精细。
7.2.4 安全攻击风险
联邦学习并不天然免疫攻击，恶意更新、信息推断和异常行为都可能影响系统安全。 因此需要结合检测、加密和鲁棒优化手段共同防护。
7.2.5 资源受限问题
许多客户端算力有限、存储紧张或电量不足，难以长期承担复杂训练任务。 这使得模型轻量化和任务调度成为实际落地的重要环节。
8 评估与实验
8.1 性能指标
8.1.1 准确率
准确率用于衡量模型在测试任务上的预测正确程度。 在联邦学习中，它是评估模型质量的基础指标之一。
8.1.2 收敛速度
收敛速度反映模型达到稳定效果所需的训练轮次或时间。 这项指标直接关系到联邦系统的效率。
8.1.3 通信开销
通信开销通常以传输次数、数据量或总耗时表示。 由于联邦学习高度依赖通信，这一指标往往非常关键。
8.2 实验设置
8.2.1 数据集选择
实验中常会根据任务类型选择图像、文本、表格或时序数据集。 数据集的规模、分布特征和标签结构都会影响实验结论。
8.2.2 客户端划分方式
客户端划分方式决定了模拟环境中数据分布的形态。 常见做法包括按用户划分、按机构划分或按非独立同分布方式切分。
8.3 对比分析
8.3.1 与集中式训练对比
联邦学习通常会与集中式训练比较，以观察在隐私保护前提下能否接近后者的性能。 两者差异往往体现在精度、通信成本和部署复杂度上。
8.3.2 与其他分布式方法对比
与一般分布式方法相比，联邦学习更强调隐私边界和跨主体协作。 对比分析通常会考察收敛表现、系统负载以及在非均匀数据上的鲁棒性。
9 研究进展
9.1 个性化方向
个性化联邦学习已成为重要研究方向之一，目标是在共享知识的基础上更好地适配各客户端差异。 相关方法关注本地偏好、任务相似性和模型分层结构，以提升不同参与方的实际效果。
9.2 异构联邦学习
异构联邦学习主要处理设备能力、数据分布和模型结构不一致的问题。 这一方向旨在让不同资源条件下的节点都能参与训练，并尽量保持系统可用性。
9.3 联邦学习与大模型
联邦学习与大模型结合时，通常需要面对参数规模大、通信压力高和训练成本高等问题。 研究者因此关注模型压缩、分层更新和局部适配等手段，以提升可部署性。
9.4 联邦学习与边缘智能融合
联邦学习与边缘智能的结合，使训练和推理更接近数据产生位置。 这种融合有助于降低时延、减轻中心负担，并提升实时性。
10 相关概念
10.1 联邦推理
联邦推理是指在不集中数据的情况下，对分布式环境中的输入进行协同预测。 它与联邦学习相互关联，但更侧重模型部署和在线服务阶段。
10.2 隐私计算
隐私计算是一类强调在数据不可见或受限可见条件下开展计算的方法集合。 联邦学习通常被视为隐私计算的重要组成部分。
10.3 分布式优化
分布式优化研究如何将优化任务拆分到多个节点共同完成。 联邦学习的训练过程本质上也包含分布式优化思想。
10.4 边缘计算
边缘计算强调在靠近数据源的位置完成计算与存储任务。 它为联邦学习提供了更适合的运行环境，尤其适合低时延和本地协同场景。