联邦学习FedRE新方法解决三难困境 信通院与清华联合研究

在联邦学习的实际应用部署中，我们常常面临一个“不可能三角”式的核心挑战：如何同时保障模型的卓越性能、数据的绝对隐私安全，以及可控的通信成本？这一难题在模型异构的联邦学习场景下变得尤为突出——当参与协作的各个客户端设备使用不同的模型架构（例如，有的采用卷积神经网络CNN，有的采用视觉Transformer ViT）时，传统的联邦平均等参数聚合方法将完全失效。

针对这一关键瓶颈，一项由国内研究团队提出的创新框架带来了突破性的解决思路。这项名为FedRE（基于表征纠缠的联邦学习）的研究，旨在为模型异构乃至同构的联邦学习，找到一个有效平衡性能、隐私与通信效率的实用方案。

相关研究论文《FedRE: A Representation Entanglement Framework for Model-Heterogeneous Federated Learning》已在arXiv预印本平台发布，其实现代码也已开源，便于社区复现与研究。

核心动机：破解“性能、隐私、通信”的三重约束

在模型异构的联邦学习设定下，各客户端的特征提取器架构各异，但需要完成相同的分类任务。这意味着，像FedAvg那样直接平均模型参数的传统路径行不通。一个直观的思路是：让客户端上传数据的特征表征，在服务器端集中训练一个全局分类器。但这立即引发了双重问题：上传全部表征会导致巨大的通信开销，且原始表征极易遭受逆向工程攻击，造成严重的隐私泄露风险。

于是，后续研究（如FedGH）尝试上传每个类别的“原型”（即类别中心表征）来替代海量数据。这确实降低了通信成本并增强了隐私保护。但新的挑战随之而来：全局分类器如果仅基于这些“类别中心”进行学习，容易形成尖锐、僵化的决策边界，反而会损害模型的泛化能力和鲁棒性。

上图清晰地展示了这种差异。左图上传全部表征（FedAllRep）性能好但风险高；中间基于原型的方法（FedGH）决策边界尖锐；而FedRE的灵感正是源于此——能否设计一种全新的知识表示形式，既能压缩信息、保护隐私，又能让全局分类器学习到更平滑、更合理的决策边界？

答案就是“纠缠表征”。其设计非常巧妙：在每个客户端本地，将来自不同类别的样本表征，通过随机采样的权重进行线性融合，生成一个单一的“纠缠表征”，同时对应生成一个“纠缠标签”。客户端只需上传这组轻量级的信息到中央服务器。

这样做带来了双重优势。首先，由于纠缠标签本身包含了跨类别的混合监督信号，并且每轮通信的融合权重都会重新随机生成，全局分类器在训练时被迫同时考虑多个类别的信息，从而避免了过度自信，学到了图中右部所示那种更平滑、更具泛化性的决策边界。其次，一个纠缠表征融合了所有本地数据的信息，攻击者想从中逆向还原出任何单一原始样本都极为困难；同时，每个客户端每轮仅上传一个向量，通信开销被压缩到了极致。

方法详解：FedRE如何工作？

整个FedRE框架的运行流程可以概括为三个核心步骤，形成了一个高效、安全的闭环。

首先，各客户端利用自己的本地私有数据和本地异构模型架构，独立进行模型训练，更新各自的模型参数。

接着，进入关键的“表征纠缠”阶段。每个客户端将本轮所有训练样本产生的特征表征，按照前述的随机加权方式进行聚合，生成一个统一的纠缠表征及其对应的标签编码。这个“知识包”非常轻量，随后被安全地上传至中央服务器。

最后，服务器收集到所有客户端的纠缠表征后，利用这些混合了多客户端、多类别信息的数据，高效地训练出一个强大的全局分类器。训练完成后，服务器将这个全局分类器下发给所有参与方，替换掉它们本地的分类器头。至此，一轮完整的联邦学习通信回合结束，下一轮迭代随之开始。

实验验证：表现究竟如何？

模型性能：优于基线方法

在模型异构的联邦学习设置下（同构场景的结果可参见论文附录），FedRE展现出了极具竞争力的性能。从下表数据可以看出，其整体分类准确率优于同样注重隐私和通信效率的FedGH等基线方法。这初步证实，与单纯依赖类别原型相比，使用纠缠表征来训练全局分类器，是一种更有效的知识蒸馏与聚合方式。

隐私保护：有效抵御逆向攻击

隐私保护是联邦学习的生命线。研究团队通过表征逆向攻击实验来检验不同方法的防御能力。如下图所示，在TinyImageNet数据集上的测试结果表明：上传原始表征几乎能清晰还原出样本轮廓，隐私风险极高；上传类别原型也能大致恢复出类别特征（比如鱼类的整体轮廓）。而FedRE的纠缠表征，其重建结果几乎是不可辨识的随机噪声，这说明通过主动混淆多类别信息，显著提升了攻击难度，为数据隐私安全增加了一道可靠的屏障。

通信开销：达到最低水平

在通信效率方面，FedRE的优势更为直接。由于每个客户端每轮只上传一个纠缠表征和一个标签编码，其在“客户端->服务器”的上传阶段，通信开销是所有对比方法中最低的。在“服务器->客户端”的模型广播阶段，其开销则与其他主流联邦学习方法处于同一量级。这意味着FedRE在几乎不增加下行通信成本的前提下，大幅压缩了上行带宽需求，尤其适合带宽受限的边缘计算环境。

总结与展望

当前，数据要素的合规流通与隐私保护要求日益严格，如何在充分挖掘数据价值与严格保护敏感信息之间找到平衡，已成为人工智能与隐私计算领域的关键课题。FedRE框架的提出，为模型异构的联邦学习场景提供了一种新颖且有效的解决方案。它通过“表征纠缠”这一核心设计，在模型性能、隐私保护与通信开销三者之间实现了颇具吸引力的均衡，为未来实现更安全、更高效的大规模跨机构数据协作与价值释放，指明了一条可行的技术路径。