联邦学习

前言

联邦学习是一种新的范式，本文我们编译了来自 Data 上的文章，预计阅读时间五分钟。

新兴的人工智能市场模式由谷歌，亚马逊和微软等科技巨头主导，他们提供基于云的人工智能解决方案和API(应用程序编程接口)。这种模式使用户几乎无法控制AI产品的使用以及从他们的设备中收集的自己的数据。从长远来看，这种集中模式对社会和市场不利，因为它可能导致少数强势企业的垄断。最终，它将限制小型公司参与AI创新。

标准机器学习模型通常需要在一台机器或数据中心集中训练数据。例如，当一个电子商务初创公司想要开发新模型来了解消费者购买产品的倾向时，它会根据从其网站或应用程序收集的数据来构建模型并运行。这些数据可能包括在特定产品页面上花费的时间、同一订单一起购买的产品、浏览但没有购买的产品等。通常，在一段时间内收集的数据会被传递并发送到集中式数据中心或计算机。

最近，一种被称为联邦学习的方法被考虑进来，联邦学习将机器学习过程分配到边缘。它的思想是，让移动电话能够使用设备上的训练数据进行协作学习、共享模型，并最终将数据保存在设备上。这种模式，将“机器学习”的需求与“将数据存储在云中”的需求分离开来。

1: 上传模型更新到云进行综合

虽然比较可能有些简单，但计算历史可能是联邦学习的全部代表。在联邦学习体系结构里，机器学习模型不是在大型集中式机器上计算，而是分布在移动设备上进行计算。比如，它在手机本地运行计算模型，并通过学习存储在那里的数据，来改进模型参数。随后，它将改进“汇总”为较小的模型更新，通常包含模型参数和相应的权重。然后使用加密通信(例如，同态加密)将对模型的更新发送到云或中央服务器。然后，此更新将与其他用户更新进行平均，以改进共享模型。一语概括，原来是上传数据到云上计算，现在是上传经同态加密处理过的模型更新到云上综合。

同态加密是一种无需解密就能对密文进行运算的技术。假设E是一种同态加密算法，则有：

E(a+b)=E(a)+E(b);

E(cx) = cE(x);

联邦学习模式虽然在理论上是可行的，但在过去并不实用，因为移动电话的计算能力对于运行任何机器学习模型都非常有限。然而，在2018年中后期发生了一些变化。作为一款配备AI芯片和重要计算能力的十亿多智能手机，从三星S9或Apple X系列开始，以及华为Mate Pro系列，在未来3-5年内上市，许多机器学习模型将能够在这些移动设备上本地运行。

（注：文章链接请点击“阅读原文”）