分段仿射回归基于递推多元最小二乘和多种判别
摘要
在非线性回归中，选择合适的模型结构往往是一个具有挑战性的问题。虽然简单的模型（如线性函数）可能无法捕捉变量之间的内部关系，但由组非线性基函数描述的参数模型往往过度拟合训练数据，导致未知数据的泛化能力较差。Piecewise affine（PWA）该模型可以描述非线性和可能的不连续关系，并保持简单的局部仿射回归器输出映射。当从数据而不是固定先验学习回归空间的多面体划分时，它具有很大的灵活性。在这篇文章中，我们提出了一种基于新的和非常有效的两个阶段的方法（i）用于聚类和拟合线性函数到数据的递归多模型最小二乘技术（ii）离线(批量)通过牛顿算法计算目标函数的无约束优化问题，具有分段光滑梯度或通过平均随机梯度降低在线(递归)。
介绍
回归分析是一种监督学习方法，旨在从一组训练数据中重建特征向量x与连续值目标输出y之间的关系。PieceWise Affine（PWA）函数为非线性回归提供了简单而灵活的模型结构，因为它们可以描述回归器x和输出y之间的非线性和可能的不连续关系，所以它们是通过将回归器空间划分为有限个内部没有重叠的多面体区域，并考虑每个多面体上的仿射模型来定义的。
PWA回归相当于从一组训练数据中学习回归空间的划分和定义每个仿射子模型的参数。PWA回归通常是一个NP难题(见劳尔，2015年详细分析PWA回归的复杂性)，从文献中可以找到几种数据估计PWA映射算法(见Garulli、Paoletti、VICINO、2012；Paoletti、Juloski、法拉利TrCeTATE、VIDID，2007概述）。在Ohlsson和永格(2013)提出了基于1正则化的凸松弛PWA由回归引起的潜在组合问题。在Roll、Betempod和Ljung(2004)作者通过混合整数规划解决了这个问题PWA回归问题。当训练样本数量随训练样本数量的增加而增加时，该方法仅限于观测值小、寻求全局最佳的问题。Betempod、Garulli、Paoletti和Vicino（2005）、Ferrari Trecate、Muselli、Liberati和Morari（2003）、Juloski、Weiland和Heemels（2005）和Nakada、Takaba和Katayama(2005)首先计算仿射局部模型的参数，然后划分回归空间。将每个数据点按照一定的标准分配给一个子模型，同时估计仿射子模型的参数，从而聚类观测值。根据一定的标准，将每个数据点分配给一个子模型，并估计仿射子模型的参数，以聚类观测值。在第二阶段，采用线性分离技术计算多面体划分。这些算法在实际应用中表现良好，但在数值上可能效率较低。betempod等人贪婪算法。(2005)在训练集较大的情况下，线性不等式不可行集的计算量较大。期望最大化（EM）算法用于数字实现Nakada等人统计聚类法。(2005)参数多PWA映射可能会变得低效。朱洛斯基等人。(2005)通过粒子滤波算法通过概率密度函数描述子模型参数并迭代更新。然而，可能需要大量的粒子来准确地接近概率密度函数。法拉利特雷卡特等人。（2003）通过K-平均值算法聚类回归向量，通过加权最小二乘法获得子模型参数。尽管法拉利Trecate等人。（2003）大型训练集可以在聚类和参数估计阶段处理。当仿射局部子模型过度参数化(即局部模型依赖冗余回归)时，由于回归空间中的距离(即聚类的唯一标准)的存在，不良结果可能会被多余，因此不相关的信息会被破坏。
影响上述PWA回归算法的另一个限制是，它们只能在批处理模式下执行，因此不适合在线应用。在这种模式下，在获取新数据时必须实时更新PWA模型。Bako、Boukharouba、Duviella和Lecoeuche(2011)提出了计算效率高的在线PWA通过递归最小二乘法更新模型参数，返回算法迭代聚类训练样本。该方法的的主要限制之一是，回归矩阵空间的多面体划分是由群集质心组成的Voronoi比一般的线性分离映射结构更不灵活，这可能会限制回归能力。
本文描述了一种新的近似向量值，可能是不连续的函数PWA试图克服上述局限性的现有方法。该算法包括两个阶段：（S1)通过向量的同时估计聚类和模型参数，通过训练{x（k），y（k）}递归处理；（S2)回归空间的多面体划分是通过有效的多种线性分离方法计算的，要么通过类牛顿法批量执行，要么通过平均随机梯度下降算法在线(递归)执行。总而言之，PWA回归算法对离线学习非常有效，适合在线学习，如示例所示。Breschi、betempod和Piga(2016)讨论提出的内容PWA回归算法应用于识别线性参数变化和混合动力模型。
论文结构如下。第二节描述了PWA回归问题。第三节介绍了观测回归模型聚类和模型参数更新的算法，以及用于计算回归域多面体划分的多类判别算法。第四节给出了一个模拟实例，证明了该方法的有效性。
1.1 表示法
设 R n {\R}^n Rn是维数n的实向量集。 I ? { 1 , 2 , . . . , } {I \subset \{1,2,...,\}} I?{ 1,2,...,}它是一个有限的整数集，使用I的基数|I|表示I。给定一个向量 a ∈ R n {a\in\R^n} a∈Rn, 让 a i {a_i} ai表示 a {a} a的第i个条目, a I {a_I} aI通过收集所有 i ∈ I {i\in I} i∈I的条目 a i {a_i} ai获得的子向量, ∥ a ∥ 2 {\parallel}a{\parallel}_2 ∥a∥2是 a a a的欧几里得函数， a + a_+ a+第i个元素为max{a，0}的向量,给定两个向量 a , b ∈ R n a,b\in\R^n a,b∈Rn,max（a，b）是第i个分量为 m a x { a i , b i } max\{a_i,b_i\} max{ ai,bi}的向量。给一个矩阵 A ∈ R n × m {A\in \R^{n×m}} A∈Rn×m，A’定义为A的转置， A i A_i Ai是A的第i行， A I A_I AI是A的子矩阵，是通过收集所有 i ∈ I {i\in I} i∈I的行 A i A_i Ai实现。 A I J A_{IJ} AIJ通过分别收集由 i ∈ I {i\in I} i∈I和 j ∈ J {j\in J} j∈J索引的A的行和列而获得的A的子矩阵。设 I n I_n In为尺寸为n的单位矩阵， 1 n 1_n 1n和 0 n 0_n 0n分别为1和0的n维列向量。符号" ∝ \propto ∝"表示线性比例。
2 问题描述
假设向量值PWA函数 f : χ → R n y f:\chi\rightarrow\R^{n_y} f:χ→Rny定义为:
未完待续