1.2.2　联邦学习的核心挑战

接下来，我们将介绍联邦学习发展中的4个核心挑战。

挑战1：昂贵的通信成本。在联邦学习网络中，通信是一个关键瓶颈，再加上发送原始数据时的隐私问题，使得在每个设备上生成的数据必须本地存储。事实上，联邦学习网络可能涉及大量设备，例如数百万部智能手机，并且网络中的通信可能比本地计算慢几个数量级。为了使模型与联邦网络中设备生成的数据相匹配，有必要开发通信高效的方法，在训练过程中迭代发送小型消息或模型更新，而不是将整个数据集发送到网络上。也就是说，为了进一步降低通信成本，我们需要考虑两个关键方面：减少通信轮数，减小每轮传输信息的大小。

挑战2：系统异构性。联邦学习网络中每个设备的存储、计算和通信能力可能由于硬件（CPU、内存）、网络连接（3G、4G、5G、WiFi）和电源（电池水平）的变化而不同。此外，网络资源和系统相关限制通常会导致只有一小部分设备同时处于活动状态，例如，在一个拥有百万设备的网络中有数百个活动设备。这些设备也可能是不可靠的，由于网络连接或能量限制，活跃设备在给定的迭代中退出是很常见的。这些系统级特征极大地加剧了诸如延迟缓解和容错等挑战的困难程度。因此，所开发和分析的联邦学习方法必须具有如下特质：预期低参与量，容忍异构硬件，对网络中丢弃的设备具有鲁棒性。

挑战3：统计异构性。设备经常在网络中以非同一分布方式生成和收集数据，例如，手机用户在下一个单词预测任务中使用不同的语言。此外，设备之间的数据点数量可能会有很大的差异，可能存在一个底层结构来捕获设备之间的关系及其相关分布。这种数据生成范式违反了分布式优化中经常使用的独立同分布假设，增加了设备掉队的可能性，并可能增加建模、分析和评估方面的复杂性。事实上，尽管常见的联邦学习问题旨在学习单个全局模型，但也存在其他替代方案，如通过多任务学习框架同时学习不同的局部模型（参考Smith等人2017年发表的文章）。在这方面，联邦学习和元学习的主要方法之间也有密切的联系（参考Li等人2019年发表的文章）。多任务和元学习都支持个性化或特定设备的建模，这通常是处理数据统计异构性更自然的方法。

挑战4：隐私问题。隐私通常是联邦学习应用程序的主要关注点。联邦学习通过共享模型更新（例如梯度信息或者模型参数，而不是原始数据），在保护每个设备上生成的数据方面迈出了一步（参考Carlini等人2018年发表的文章）。然而，在整个训练过程中通信模型更新仍然可能向第三方或中央服务器泄露敏感信息（参考McMahan等人2017年发表的关于语言模型的文章）。虽然最近提出的方法旨在通过安全多方计算或差分隐私等工具增强联邦学习的隐私性，但这些方法通常以降低模型性能或系统效率为代价。理解和平衡这些取舍，无论是在理论上还是在实践上，都是实现隐私联邦学习系统的一个相当大的挑战。

以上四个挑战也将是联邦学习的主要发展趋势和方向。