联邦元学习

基于服务器端聚合方法的算法和基于客户端优化的算法。

1. 文献[48]提出了基于迭代模型平均水平的深层网络联合学习方法，对于不平衡和非独立分布是稳定的。

[48] ARIVAZHAGAN M G, AGGARWAL V, SINGH A K, et al. Federated learning with personalization layers[J]. arXiv preprint arXiv:1912.00818, 2019 

2. 联邦平均算法（FedAvg）[1] 与所有数据相比，客户端数据的比例是权重
3. FedSGD[1] 利用客户端所有数据进行梯度下降
4. FedAvgM[42] 引入动量的方法

[42] HSU T M H, QI H, BROWN M. Measuring the effects of non-identical data distribution for federated visual classification[J]. arXiv preprint arXiv:1909.06335, 2019. 

5. 联邦学习版的自适应优化器 FEDADAGRAD[43]，FEDYOGI[43]，FEDADAM[43] 自适应优化器在非联邦环境中(ADAGRAD[44]，ADAM[45]和YOGI[46])

[43] REDDI S, CHARLES Z, ZAHEER M, et al. Adaptive federated optimization[J]. arXiv preprint arXiv:2003.00295, 2020. [44] DUCHI J, HAZAN E, SINGER Y. Adaptive subgradient methods for online learning and stochastic optimization[J]. Journal of machine learning research, 2011, 12(7). [45] KINGMA D P, BA J. Adam: A method for stochastic optimization[J]. arXiv preprint arXiv:1412.6980, 2014. [46] ZAHEER M, REDDI S, SACHAN D, et al. Adaptive methods for nonconvex optimization[J]. Advances in neural information processing systems, 2018, 31. 

文献[47][48]提出了两种分层聚合方式

6. FedPER[48] 个性化联邦学习模型共享基础层加个性化层 基础层由不同的客户端共同训练，个性化层由当地数据训练，

[47] WANG H, YUROCHKIN M, SUN Y, et al. Federated learning with matched averaging[J]. arXiv preprint arXiv:2002.06440, 2020. [48] ARIVAZHAGAN M G, AGGARWAL V, SINGH A K, et al. Federated learning with personalization layers[J]. arXiv preprint arXiv:1912.00818, 2019 

7. 联邦匹配平均算法 FedMA[47] 分层构建共享全局模型

1. FedProx[57] 作者献[57]中，作者进一步扩展了联邦平均算法（FedAvg），提出了一种新的算法 FedProx[57]规定客户有局部损失函数，进一步利用前一步权重的二次处罚进行规范化，在 数据异构 联邦平均算法的进步性显示在环境中

[57] LI T, SAHU A K, ZAHEER M, et al. Federated ptimization in heterogeneous networks[J]. Proceedings of Machine Learning and Systems, 2020, 2: 429-450. 

2. Fed-EMD[49] 在所有数据节点之间共享数据子集，以减少数据不平衡的影响。通信成本高。

[49] ZHAO Y, LI M, LAI L, et al. Federated learning with non-iid data[J]. arXiv preprint arXiv:1806.00582, 2018. 

3. APFL[59] 最佳混合参数通过推导全局模型和局部模型的一般边界找到

[59] DENG Y, KAMANI M M, MAHDAVI M. Adaptive ersonalized federated learning[J]. arXiv preprint arXiv:2003.13461, 2020. 

4. 联邦平均算法 受数据不平衡影响较大，不同客户端无法了解其他客户端的更新信息，数据异构导致更新方向漂移 正则化可以限制本地模型更新的方向

5. SCAFFOLD[60] 控制变量(减少方差)，纠正本地更新中的客户端漂移问题 利用客户之间的相似性，降低通信成本

[60] KARIMIREDDY S P, KALE S, MOHRI M, et al. SCAFFOLD: Stochastic Controlled Averaging for On-Device Federated Learning[J]. 2019. 

6. Ditto[61] 通过正则化项前系数控制模型在个性化和鲁棒性之间的权衡，将正则化项引入不同客户端的损失函数 本地模型与全局模型的欧氏距离鼓励个性化模型接近全球最佳模型作为正则化项目

[61] LI T, HU S, BEIRAMI A, et al. Ditto: Fair and robust federated learning through personalization[C]//International Conference on Machine Learning. PMLR, 2021: 6357-6368. 

7. MOON[62] 利用模型表示之间的相似性来纠正每个客户端的局部学习 用全局模型与本地模型表示之间的比较损失作为限制本地模型更新的正则化项目

[62] LI Q, HE B, SONG D. Model-contrastive federated learning[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2021: 10713-10722 

元学往往以小样本学习和对任务的快速适应作为切入点

训练集：不同任务T（支持集S+查询集Q） 支持集S上参数优化：得到对应任务T train的中间参数模型 查询集Q：使用模型 计算损失函数L 最小化不同任务T train上损失函数值 训练一个基础模型 测试集：通过任务T val的支持集数据进行几步梯度下降 得到新模型 利用T val中的查询集Q测试模型表现

基于优化器的方法 基于记忆存储的方法 基于基础泛化模型的方法 基于度量学习的方法 基于数据增强的方法

旨在通过学习一个更好的优化器加快学习过程。 文献[8]中提出使用一个 LSTM 的元学习者来学习一个更新规则，一种新的类似于但不同于梯度下降的优化算法

在[9]中𝑅𝐿2利用一个慢速调整的强化学习去训练一个快速调整的强化学习

文献[10]中提出了一种加快神经网络训练速度的方法 LOWEMS[10]以实现快速的学习，为梯度下降算法训练 一个学习器以加快梯度下降算法的收敛速度

[8] RAVI S, LAROCHELLE H. Optimization as a model for few-shot learning[J]. 2016. 
[9] DUAN Y, SCHULMAN J, CHEN X, et al. Rl $^ 2$: Fast reinforcement learning via slow reinforcement learning[J]. arXiv preprint arXiv:1611.02779, 2016.
[10] ANDRYCHOWICZ M, DENIL M, GOMEZ S, et al. Learning to learn by gradient descent by gradient descent[J]. Advances in neural information processing systems, 2016, 29

先验知识对于后续任务具有重要作用，合理利用先验知识可以帮助模型快速适应新的任务

文献[11]提出了一种带有记忆增强神经网络的元学习算法 MANN 外部存储器保存样本特征，元学习改进单元读取和写入方式，错位匹配以避免训练过程中记住样本位置。 由于权重更新缓慢，实现了网络长期记忆，外部存储实现短期记忆，最终实现元学习快速训练。

在[12]中，引入时间卷积网络访问之前的特征信息提出了一种元学习模型TCML， 在某个固定的时间内使用更加灵活的计算。通过时间卷积网络和注意力机制的集合，网络可以更加准确的在先前的信息中进行选择

[11] SANTORO A, BARTUNOV S, BOTVINICK M, et al. Meta-learning with memory-augmented neural networks[C]//International conference on machine learning. PMLR, 2016: 1842-1850.
[12] MISHRA N, ROHANINEJAD M, CHEN X, et al. A simple neural attentive meta-learner[J]. arXiv preprint arXiv:1707.03141, 2017

旨在于学习一个可以快速适应新任务的基础模型，当面对新任务时，仅仅通过简单的几步梯度下降就能获得快速适应新任务的模型。 （数学太多）

旨在获得一个强大的特征提取器，通过在特征空间中度量不同样本间的距离进行分类。

元学习在解决小样本分类问题时，面临的最大挑战来源于训练数据的不足，通过不同的数据增强方式[24][25][26][27] [28]，扩展训练数据集成为一种选择。

新的神经网络 Sill-Net[28] 针对图片可以分离光照特征，并通过在特征空间使用该网络分离光线的影响来增强训练样本。

[28] ZHANG H, CAO Z, YAN Z, et al. Sill-net: Feature augmentation with separated illuminationrepresentation[J]. arXiv preprint arXiv:2102.03539, 2021.

文献[29]提出了一个统一的元数据增强框架并在此框架下解释了现有的增强策略。

[29] RAJENDRAN J, IRPAN A, JANG E. Meta-learning requires meta-augmentation[J]. Advances in Neural Information Processing Systems, 2020, 33: 5705-5715.

数据增强策略 MetaAugment[30] 通过将样本数据增强策略作为样本重加权问题来学习一个具有样本感知能力的数据增强策略，捕捉样本间的不同性来评估不同样本增强策略的有效性

[30] ZHOU F, LI J, XIE C, et al. Metaaugment: Sample-aware data augmentation policy learning[J]. arXiv preprint arXiv:2012.12076, 2020.

MetaGAN【31】 为少镜头学习提出了一个简单通用的框架，其引入了一个以任务为条件的对抗生成器，其目标是生成与从特定任务中采集的真实数据无法区分的样本

[31] ZHANG R, CHE T, Ghahramani Z, et al. Metagan: An adversarial approach to few-shot learning[J]. Advances in neural information processing systems, 2018, 31.

数据增强元学习 MEDA【32】 结合小样本文本分类问题，该框架引入一个球生成器用于生成新的数据样本。首先通过生成器计算支持集样本的最小球形状封闭边界，然后在边界内合成新的数据样本。

[32] SUN P, OUYANG Y, ZHANG W, et al. MEDA: Meta-Learning with Data Augmentation for Few-Shot Text Classification[J].

在联邦学习中，通过元学习算法，为每个客户端训练个性化的模型，降低模型在不同客户端上表现的差异，提高模型公平性，就称为联邦元学习算法

（1）如何通过联邦元学习为不同用户提供个性化模型，解决联邦学习中数据异构问题 （2）如何利用联邦元学习进行合理资源分配，提高联邦学习的通信效率，加快收敛速度 （3）如何利用元学习算法增强联邦学习面对恶意攻击的鲁棒性，保护数据隐私

1. FedMeta 算法[66] 将客户端视为任务，目标为训练一个初始化良好的模型而不是全局最优。 使用一个共享元学习者(meta-learner)取代联邦学习中共享的全局模型，参数初始化和更新都在中心服务器。 每个节点设置一个支持集，参数集，每个节点支持集上用meta-learner知道训练模型，查询集上验证。

[66] CHEN F, LUO M, DONG Z, et al. Federated meta-learning with fast convergence and efficient communication[J]. arXiv preprint arXiv:1802.07876, 2018.

2. Fedavg-Reptile[75] 将元学习作为一个微调阶段放置在联邦学习之后 其中 Reptile[17]是模型不可知算法的一种变体，其简化了 MAML的二阶求导过程。 ①选择动量随机梯度下降算法（Momentum SGD）作为服务器优化器，FedAvg 可以提供个性化模型； ②通过减少本地学习率和训练轮次可以加快收敛； ③在联邦平均算法阶段后插入一个元学习微调阶段，提供一个可靠的初始化模型

该方案分为训练和微调两个阶段： 联邦平均算法：服务器优化器 切换到Reptile(K)[17]算法：作为服务器优化器微调初始模型得到个性化初始模型，并保持稳定 最后：使用相同的客户端优化器进行个性化优化。

[75] Y. JIANG, J. KONEČNÝ, K. RUSH, AND S. KANNAN, "Improving federated learning personalization via model agnostic meta learning," arXiv preprint arXiv:1909.12488, 2019.
[17] NICHOL A, ACHIAM J, SCHULMAN J. On first-order meta-learning algorithms[J]. arXiv preprint arXiv:1803.02999, 2018.

3. Per-FedAvg[68] 每轮训练随机选择一部分用户，发送当前模型，用户根据自身的损失函数通过随机梯度下降更新参数，并返回服务器。服务器计算均值并更新模型。 该模型是模型不可知元学习(MAML)的一种。

[68] FALLAH A, MOKHTARI A, OZDAGLAR A. Personalized federated learning with theoretical guarantees: A model-agnostic meta-learning approach[J]. Advances in Neural Information Processing Systems, 2020, 33: 3557-3568.

4. q-MAML[73] 通过衡量准确度差异（accuracy parity）来表示公平性。 文献[73]引入good-intent fairness, 确保模型对任何设备的适应都不会以牺牲其他设备为代价。仅优化性能最差组，仅在小型网络测试。 文献[74]提出了 q-FFL(q-Fair Federated Learning)，最小化一个聚合的加权损失函数，使得损失函数值较高的设备在目标优化函数中具有较高的相对权重从而促进模型在各个设备间的表现更加公平。 将 q-FFL 与流行的元学习算法 MAML 相结合，在不同任务上表现更加公平的新算法 q-MAML。使用q-FFL中的目标函数和权重更新全局参数。

[73] ZAFAR M B, VALERA I, GOMEZ RODRIGUEZ M, et al. Fairness beyond disparate treatment & disparate impact: Learning classification without disparate mistreatment[C]//Proceedings of the 26th international conference on world wide web. 2017: 1171-1180.
[74] LI T, SANJABI M, BEIRAMI A, et al. Fair resource allocation in federated learning[J]. arXiv preprint arXiv:1905.10497, 2019.

5. ARUBA[68] 文献[68]利用在线凸优化（Online Convex Optimization）和序列预测算法相结合，提出新的理论框架 ARUBA，该算法将元学习视为在线学习一系列损失。 学习一个在线镜像下降的 Mahalanobis-Norm 正则化项来确定参数空间中那些方向需要更新。其提供了一个动态调整学习率方法。是一种简单的无需步长调整的方法

[68] FALLAH A, MOKHTARI A, OZDAGLAR A. Personalized federated learning with theoretical guarantees: A model-agnostic meta-learning approach[J]. Advances in Neural Information Processing Systems, 2020, 33: 3557-3568.

6. PFL[70] 文献[70]中提出利用梯度矫正方法为每个边缘设备定制个性化模型。 将每个客户端与不同的任务关联，在不同的任务上学习一个元模型，每轮训练中动态修改设备损失函数，消除元模型对不同用户的偏见。

[70] ZHANG M, SAPRA K, FIDLER S, et al. Personalized federated learning with first order model optimization[J]. arXiv preprint arXiv:2012.08565, 2020.

7. FedFomo[71] 根据客户端间的模型联系，计算客户端之间的影响，得到最佳模型组合，通过n个服务器元模型，向客户端发送不同元模型。

[71] ACAR D A E, ZHAO Y, ZHU R, et al. Debiasing Model Updates for Improving Personalized Federated Training[C]//International Conference on Machine Learning. PMLR, 2021: 21-31.

8. FedRECON[72] 模型无关的局部联邦重构算法(FedRECON) 模型参数划分为全局参数和本地参数。本地参数不离开客户端，利用元学习训练一个可以快速重构局部参数的全局参数，在客户端用全局参数进行局部参数重构。 （疑问：此情况本地参数干啥用？）

[72] SINGHAL K, SIDAHMED H, GARRETT Z, et al. Federated reconstruction: Partially local federated learning[J]. Advances in Neural Information Processing Systems, 2021, 34

1. NUFM 算法 文献[79]提出了一种非均匀的联邦元学习设备选择方 案 NUFM 来促进模型收敛速度，并提出了一种资源分配策略 URAL

[79] YUE S, REN J, XIN J, et al. Efficient Federated Meta-Learning over Multi-Access Wireless Networks[J]. arXiv preprint arXiv:2108.06453, 2021.

2. ADMM-FedMeta 文献[80]将先前任务的有价值的知识被提取为正则化项， 其中 ADMM 提供了一种自然的机制，将原始问题分解为许多子问题，可以跨边缘节点和平台并行解决 采用了一种非精确化 ADMM 方法的变体，通过线性近似和海森估计将计算复杂度降为 O(n)

[80] YUE S, REN J, XIN J, et al. Efficient Federated Meta-Learning over Multi-Access Wireless Networks[J]. IEEE Journal on Selected Areas in Communications, 2022.

1. Robust FedML 算法[76] 针对：有限计算资源+有限本地数据+对抗性攻击 一个建立在分布式鲁棒优化上的联邦元学习框架 Robust FedML D是概率分布空间上的距离度量，采用 Wasserstein 距离。 对抗式数据生成过程：在迭代过程中，每个边缘节点使用梯度上升构造对抗数据样本，并加入对抗数据集中。每个节点先使用训练数据集更新θ，后使用测试数据集和敌对数据集本地更新θ，本地更新完成后传递参数个中心服务器。 通过构造对抗数据的方式实现算法的鲁棒性。

[76] LIN S, YANG G, ZHANG J. A collaborative learning framework via federated meta-learning[C]//2020 IEEE 40th International Conference on Distributed Computing Systems (ICDCS). IEEE, 2020: 289-299.

2. Federated Learning with Matching Network(FL-MN)[83] 针对：后门攻击，客户端发送恶意数据生成的模型参数。 使用匹配网络的分类机制，根据输入样本特征与支持集中样本特征的距离进行分类。 匹配网络：基于度量的元学习方法，需要进一步提升准确度

[83] CHEN C L, GOLUBCHIK L, PAOLIERI M. Backdoor attacks on federated meta-learning[J]. arXiv preprint arXiv:2006.07026, 2020

3. Meta-FL[87] 针对：后门攻击 旨在不检查各客户端的情况下防御后门攻击。 思想：将防御检查点从用户端级别移动到聚合级别 将不同客户端进行分组，将传统FL聚合从一个阶段全局聚合变为两个阶段的多层次聚合。客户端分组，组内安全聚合：SecAgg[88]，每组获得一个组内全局模型，SecAgg确保服务器聚合客户端提交的更新而不知具体值，通过组间聚合全局模型进行安全检查。 虽然有泄露组内全局模型信息风险，但信息和单个用户无关。

[87] ARAMOON O, CHEN P Y, QU G, et al. Meta Federated Learning[J]. arXiv preprint arXiv:2102.05561, 2021.
[88] BONAWITZ K, IVANOV V, KREUTER B, et al. Practical secure aggregation for privacy-preserving machine learning[C]//proceedings of the 2017 ACM SIGSAC Conference on Computer and Communications Security. 2017: 1175-1191.

在隐私保护方面，利用基于度量的元学习算法增强元学习面对恶意攻击时的鲁棒性[83]是一个引人注目的方向，但是向服务器发送度量模型参数，可能会产生用户敏感信息的泄露。

[83] CHEN C L, GOLUBCHIK L, PAOLIERI M. Backdoor attacks on federated meta-learning[J]. arXiv preprint arXiv:2006.07026, 2020.