Federated Learning（联邦学习）

联邦学习是应对数据隐私与数据孤岛的核心解法，核心思路是「模型旅行，数据静止」。

• 提出背景：传统集中式训练需要将数据汇总到云端，在 GDPR、HIPAA 等法规收紧的背景下面临合规障碍
• 核心目标：在不共享原始数据的条件下，联合多个数据孤岛共同训练高质量模型
• 主要角色：中央服务器（协调者）+ 多个客户端（数据持有方）
• 代表算法：FedAvg（联邦平均），以各客户端本地数据量加权平均梯度/权重
• 首次落地：Google Gboard（Android 键盘下一词预测），2017 年上线

联邦学习的训练流程在「全局轮次」中循环执行。

• 第一步 分发：服务器将当前全局模型参数广播给选定的客户端子集
• 第二步 本地训练：每个客户端用本地私有数据对模型进行若干轮 SGD，得到本地更新（梯度或权重差）
• 第三步 上传：客户端仅将模型更新（非原始数据）发送至服务器
• 第四步 聚合：服务器执行 FedAvg 等聚合算法，合并各客户端更新，生成新的全局模型
• 第五步 迭代：重复上述流程直至模型收敛或达到预设轮次

按数据划分方式，联邦学习分为三种主流形态。

• 水平联邦学习（Horizontal FL）：各方特征空间相同、样本不同（如不同地区的医院，特征字段一致但患者不同）
• 垂直联邦学习（Vertical FL）：各方样本重叠、特征维度不同（如银行有金融数据、电商有消费数据，用户群体重合）
• 联邦迁移学习（Federated Transfer Learning）：样本与特征均不同，借助迁移学习在小交集数据上完成建模
• 跨设备 vs 跨机构：跨设备（如手机）客户端数量可达百万级、通信不稳定；跨机构客户端数量少但计算能力强

联邦学习在数据敏感、合规要求高的行业已有广泛落地。

• 智能手机：输入法下一词预测、语音唤醒词识别，Google/Apple 均有部署
• 医疗健康：多家医院联合训练肿瘤检测模型，患者病历不出院
• 金融风控：银行间联合反欺诈、反洗钱模型，交易数据各自保密
• 工业 IoT：工厂设备预测性维护，传感器数据留在边缘节点
• 自动驾驶：多车企共享驾驶场景模型，避免商业数据外泄

联邦学习与传统分布式训练共用「多节点」架构，但目标与约束截然不同。

• 数据归属：分布式训练中数据由同一实体掌控，联邦学习中数据属于各自独立的参与方
• 隐私约束：分布式训练可以自由共享中间数据，联邦学习严格禁止原始数据离开本地
• 节点规模：分布式训练节点数通常较少且稳定，联邦学习客户端可达数百万且随时掉线
• 数据分布：分布式训练通常假设 IID，联邦学习天然面对 Non-IID 挑战
• 通信效率：联邦学习对带宽极为敏感，压缩梯度、减少通信轮次是核心优化方向

联邦学习并非「绝对隐私」，在实际应用中存在多项挑战。

• 梯度泄露：通过梯度反推（Gradient Inversion 攻击）可部分还原训练数据，需配合差分隐私（DP）
• 模型投毒：恶意客户端可上传伪造梯度影响全局模型，需要鲁棒聚合（如 Krum、Median）
• Non-IID 性能下降：数据分布异质性导致 FedAvg 收敛慢、精度低，FedProx、SCAFFOLD 等方法缓解此问题
• 通信瓶颈：大模型参数量大，上传成本高，需梯度压缩、稀疏化或异步更新
• 合规误解：「联邦学习 = 合规」是误区，各国法规对模型更新是否属于数据传输仍有争议

联邦学习从学术概念快速演进为产业级隐私计算基础设施。

• 2016：Google 内部提出联邦学习概念，用于 Gboard 个性化
• 2017：McMahan 等发表 FedAvg 论文（AISTATS），确立基础算法框架
• 2018：Google AI Blog 正式对外介绍联邦学习，引发学术界广泛关注
• 2019：微众银行开源 FATE 框架，推动企业级联邦学习落地；杨强团队系统化「横向/纵向/联邦迁移」分类
• 2020–2021：FedProx、SCAFFOLD、差分隐私集成方案相继提出，鲁棒性与收敛性大幅改善
• 2022–至今：大模型时代下，联邦学习与 LoRA 微调、LLM 结合（Federated LLM Fine-tuning）成为新热点