Machine learning systems generally assume that the training and testing distributions are the same. T o this end, a key requirement is to develop models that can generalize to unseen distributions. Domain generalization (DG), i.e., out-of-distribution generalization, has attracted increasing interests in recent years. Domain generalization deals with a challenging setting where one or several different but related domain(s) are given, and the goal is to learn a model that can generalize to an unseen test domain. Great progress has been made in the area of domain generalization for years. This paper presents the first review of recent advances in this area. First, we provide a formal definition of domain generalization and discuss several related fields. We then thoroughly review the theories related to domain generalization and carefully analyze the theory behind generalization. We categorize recent algorithms into three classes: data manipulation, representation learning, and learning strategy, and present several popular algorithms in detail for each category. Third, we introduce the commonly used datasets, applications, and our open-sourced codebase for fair evaluation. Finally, we summarize existing literature and present some potential research topics for the future.

机器学习系统通常假设训练和测试分布相同。为此，一个关键要求是开发可以推广到看不见的分布模型。近年来，域泛化（Domain generalization，DG），即分布外泛化（out-of-distribution generalization），它引起了越来越多的兴趣。域泛化处理具有挑战性，包括给出一个或多个不同但相关的域，目标是学习一个可以泛化到看不见的测试域的模型。多年来，该领域的泛化方向取得了巨大的进展。本文首次回顾了该领域的最新进展。首先，我们提供了领域泛化的正式定义，并讨论了几个相关领域。然后，我们彻底回顾了与域泛化相关的理论，并仔细分析了泛化背后的理论。我们将是最近的算法分为三类：数据操作、表示学习和学习策略，并详细介绍了几种流行的算法。第三，我们介绍了常用的数据集、应用程序和我们的开源代码库进行公平评估。最后，我们总结了现有的文献，并提出了未来的一些潜在研究课题。

机器学习 (ML) 在计算机视觉、自然语言处理、医疗保健等领域取得了显著成功。 ML 该模型的目标是从训练数据中学习一般性和预测性知识，然后将该模型应用于新的（测试）数据。传统的 ML 基于独立同分布的模型（identically and independently distributed，i.i.d）假设训练，即训练和测试数据相同且独立分布。然而，这种假设并不总是建立在现实中。当训练数据和测试数据的概率分布不同时，ML由于域分布差距，模型的性能往往是由于（domain distribution gaps ）而恶化[1]。收集所有可能领域的数据进行训练 ML 模型是昂贵的，甚至是不可能的。因此，增强 ML 模型的泛化（generalization）能力在工业和学术领域都很重要。 有许多与泛化相关的研究课题，如领域适应（domain adaptation）、元学习（meta-learning）、迁移学习（transfer learning）、协变量偏移（covariate shift）等等。近年来，域泛化（Domain generalization，DG）备受关注。如图 1 所示，域泛化的目标是从一个或多个不同但相关的域(即不同的训练数据集)中学习一个模型，它将在未见的测试域中很好地泛化。例如，给定一个由草图、卡通图像和绘画图像组成的训练集。域泛化需要训练一个良好的机器学习模型。该模型在分类自然图像或照片图像时有最小的预测误差。这些图像显然有来自训练集中图像的明显分布。在过去的几年里，该领域在计算机视觉和自然语言处理方面取得了重大进展。虽然取得了进展，但该领域没有对其主要思想、学习算法等相关问题进行全面的介绍和总结，为未来提供研究意见。

本文提出了关于域泛化的第一项调查是介绍其最近的进展，特别关注其公式、理论、算法、研究领域、数据集、应用和未来的研究方向。希望本次调查能为感兴趣的研究人员提供全面的回顾，激发对该领域及相关领域的更多研究。

在我们论文的会议版本之后，有几篇调查论文，与我们的论文大不相同。 写一个关于 DG 综述，重点是计算机视觉领域。[4] 最近发表的一篇关于分布外的文章（out-of-distribution，OOD）综述论文泛化。他们的工作集中在因果关系和稳定的神经网络上。相关调查论文 [5] 用于 OOD 对任何看不见的环境进行检测，而不是构建工作算法。

这篇论文是我们以前写的 IJCAI-21 调查轨道上接受的短篇论文的大幅扩展版本(6 页面，包含在附录文件中)。与短篇论文相比，该版本扩展如下:

本节将介绍本文中使用的符号和定义。

与域泛化密切相关的研究领域包括但不限于：迁移学习 (transfer learning)、域适应 (domain adaptation)、多任务学习 (multi-task learning)、多领域学习 (multiple domain learning)、元学习 (meta-learning)、终身学习 (lifelong learning) 和零样本学习 (zero-shot learning)。我们在表 2 中总结了它们与域泛化的差异，并在下面简要描述了它们。

多任务学习（Multi-task learning） [7] 联合优化几个相关任务的模型。通过在这些任务之间共享表示，可以使模型更好地泛化原始任务。请注意，多任务学习的目的不是增强对新（看不见的）任务的泛化能力。特别是，多域学习（multi-domain learning）是一种多任务学习，它在多个相关域上进行训练，为每个原始域 [8] 学习好的模型，而不是新的测试域。

迁移学习（Transfer learning） [9, 10, 11] 在源任务上训练模型，旨在提高模型在不同但相关的目标域/任务上的性能。 Pretraining-finetuning 是迁移学习的常用策略，其中源域和目标域具有不同的任务，并且在训练中访问目标域。在 DG 中，无法访问目标域，训练和测试任务通常相同，但分布不同。

域适应 (Domain Adaptation, DA) [12, 13] 近年来也很流行。 DA 旨在使用现有的训练源域最大化给定目标域的性能。DA 和 DG 的区别在于 DA 可以访问目标域数据，而 DG 在训练期间看不到它们。这使得 DG 比 DA 更具挑战性，但在实际应用中更加现实和有利。

元学习（Meta-learning） [14,15,16] 旨在通过从以前的经验或任务中学习来学习学习算法本身，即学习学习（learning-to-learn）。虽然元学习中的学习任务不同，但域泛化中的学习任务是相同的。元学习是一种通用的学习策略，可用于 DG [17,18,19,20]，通过在训练域中模拟元训练和元测试任务来提高 DG 的性能。

终身学习（Lifelong Learning）[21]，或持续学习（continual learning），关心多个连续领域/任务之间的学习能力。它要求模型通过适应新知识，同时保留以前学习的经验，随着时间的推移不断学习。这也与 DG 不同，因为它可以在每个时间步访问目标域，并且它没有显式处理跨域的不同分布。

零样本学习（Zero-shot learning） [22, 23] 旨在从已见类别中学习模型，并对训练中未见类别的样本进行分类。相比之下，域泛化通常研究训练和测试数据来自同一类但分布不同的问题。

在本节中，我们回顾了一些与域泛化相关的理论。由于域适应与 DG 密切相关，我们从域适应理论开始。

对于二元分类问题，我们将源域上的真实标注函数表示为 h ∗ s : X → [ 0 , 1 ] h^{∗s} : \mathcal{X} → [0, 1] h∗s:X→[0,1]（当输出在 (0, 1) 时，表示 y = 1 的概率），将目标域上的真实标注函数表示为 h ∗ t h^{∗t} h∗t。令 h : X → [ 0 , 1 ] h : \mathcal{X} → [0, 1] h:X→[0,1] 是假设空间 H \mathcal{H} H 中的任何分类器。两个分类器 h h h 和 h ′ h' h′ 在源域上的分类差异可以通过以下方式测量 类似地，我们可以在期望 x ∼ P X t x ∼ P^t_X x∼PXt​ 时定义 ϵ t \epsilon_t ϵt​。定义 ϵ s ( h ) : = ϵ s ( h , h ∗ s ) \epsilon^s(h) := \epsilon^s(h, h^{∗s}) ϵs(h):=ϵs(h,h∗s) 和 ϵ t ( h ) : = ϵ t ( h , h ∗ t ) \epsilon^t(h) := \epsilon^t(h, h^{∗t}) ϵt(h):=ϵt(h,h∗t) 分别作为分类器 h h h 在源域和目标域上的风险（risk）。