0.摘要
矩阵正定是有问题的。 另一种表述是将高斯过程视为与平滑内核卷积的白噪声源,并将其改为内核参数化。 利用它,我们扩展高斯过程来处理多个耦合输出。
1.介绍
高斯过程回归有很多理想的特点,比如和,通过能力,还有 [15,4,9]。 因此,建议将其作为非线性回归 [8, 18] 监督神经网络的替代品扩展到处理分类任务 [11, 17, 6]并以其他方式使用(如 [ 16、14])。 高斯过程 (GP) 协方差矩阵作为联合高斯的随机变量,完全由协方差矩阵表征,其中项由协方差函数决定。 (即指定任何两个输入向量的输出值协方差的函数)。 一般来说,为了保证协方差矩阵的正定性,需要正定函数。
大多数 GP 只建模单个输出变量。 处理多个输出的尝试通常涉及到使用每个输出模型-一种称为多克里金法的模型 [18] 但是这种模型的方法 例如,考虑图 2 顶部显示的两个紧密耦合输出,其中一个只是另一个输出的移位版本。 我们在这里输出 1 有详细的了解,但输出 2 采样稀疏。 将输出视为独立模型,不能利用其明显的相似性——直观地说,我们应该使用从输出 1 和 2 预测中学知识的输出 2。
联合预测是可能的(例如 co-kriging [3])但是有问题,因为不清楚如何定义协方差函数 [5]。尽管有许多已知的正定自协方差函数(如高斯和许多其他函数) [1, 9]),但很难定义导致正定协方差矩阵的交叉协方差函数。与神经网络建模相比,多个输出的处理是常规的。直接参数协方差函数的替代方法是 GP 视为稳定线性滤波器的输出。响应输入线性滤波器 x(t) 的输出为 y ( t ) = h ( t ) ☆ x ( t ) = ∫ ? ∞ ∞ h ( t ? τ ) x ( τ ) d τ y(t) = h(t) ☆ x(t) = \int_{?∞}^{ ∞} h(t ? τ )x(τ )dτ y(t)=h(t)☆x(t)=∫?∞ ∞h(t?τ)x(τ)dτ ,其中 h(t ) 定义了滤波器的脉冲响应, ☆ ☆ ☆ 表示卷积。假设线性滤波器稳定且稳定x(t)是高斯白噪声,那么输出过程y(t)必然是高斯过程。也可以通过一组 M × N 脉冲响应来表征具有 M 个输入和 N 个输出的 p 稳定线性滤波器。一般来说,得到的 N 输出是一个相关的高斯过程。现在,我们可以通过参数多输出线性滤波器的脉冲响应集来建模多个相关输出,并从我们观察到的数据中推断参数值。我们现在指定和,而不是指定和参数化