拟牛顿法 BFGS算法 DFP算法
Broyden类算法
Broyden类算法是BFGS和DFP校正凸组合产生的一种校正族 B k 1 θ = θ k B k 1 D F P ( 1 ? θ k ) B k 1 B F G S = B k 1 B F G S θ k ( B k 1 D F P ? B k 1 B F G S ) = B k ? B k s k s k T B k s k T B k s k y k y k T y k T s k θ k ( ( I ? s k y k T y k T s k ) T B k ( I ? s k y k T y k T s k ) y k y k T y k T s k ? B k B k s k s k T B k s k T B k s k ? y k y k T y k T s k ) = B k ? B k s k s k T B k s k T B k s k y k y k T y k T s k θ k ( B k ? y k s k T B k y k T s k ? B k s k y k T y k T s k y k s k T B k s k y k T ( y k T s k ) 2 y k y k T y k T s k ? B k B k s k s k T B k s k T B k s k ? y k y k T y k T s k ) = B k ? B k s k s k T B k s k T B k s k y k y k T y k T s k θ k ( ? y k s k T B k y k T s k ? B k s k y k T y k T s k y k s k T B k s k y k T ( y k T s k ) 2 B k s k s k T B k s k T B k s k ) = B k ? B k s k s k T B k s k T B k s k y k y k T y k T s k θ k ( s k T B k s k ) ( y k y k T s k ? B k s k s k T B k s k ) ( y k y k T s k ? B k s k s k T B k s k ) T \begin{aligned} \mathbf{B}_{k 1}^{\theta}&=\theta_k\mathbf{B}_{k 1}^{DFP} \left(1-\theta_k\right)\mathbf{B}_{k 1}^{BFGS}\\ &=\mathbf{B}_{k 1}^{BFGS} \theta_k\left(\mathbf{B}_{k 1}^{DFP}-\mathbf{B}_{k 1}^{BFGS}\right)\\ &=\mathbf{B}_k-\frac{\mathbf{B}_k\mathbf{s}_k\mathbf{s}_k^T\mathbf{B}_k}{\mathbf{s}_k^T\mathbf{B}_k\mathbf{s}_k} \frac{\mathbf{y}_k\mathbf{y}_k^T}{\mathbf{y}_k^T\mathbf{s}_k} \theta_k\left(\left(\mathbf{I}-\frac{\mathbf{s}_k\mathbf{y}_k^T}{\mathbf{y}_k^T\mathbf{s}_k}\right)^T\mathbf{B}_{k}\left(\mathbf{I}-\frac{\mathbf{s}_k\mathbf{y}_k^T}{\mathbf{y}_k^T\mathbf{s}_k}\right) \frac{\mathbf{y}_k\mathbf{y}_k^T}{\mathbf{y}_k^T\mathbf{s}_k}-\mathbf{B}_k \frac{\mathbf{B}_k\mathbf{s}_k\mathbf{s}_k^T\mathbf{B}_k}{\mathbf{s}_k^T\mathbf{B}_k\mathbf{s}_k}-\frac{\mathbf{y}_k\mathbf{y}_k^T}{\mathbf{y}_k^T\mathbf{s}_k}\right)\\ &=\mathbf{B}_k-\frac{\mathbf{B}_k\mathbf{s}_k\mathbf{s}_k^T\mathbf{B}_k}{\mathbf{s}_k^T\mathbf{B}_k\mathbf{s}_k} \frac{\mathbf{y}_k\mathbf{y}_k^T}{\mathbf{y}_k^T\mathbf{s}_k} \theta_k\left(\mathbf{B}_k-\frac{\mathbf{y}_k\mathbf{s}_k^T\mathbf{B}_k}{\mathbf{y}_k^T\mathbf{s}_k}-\frac{\mathbf{B}_k\mathbf{s}_k\mathbf{y}_k^T}{\mathbf{y}_k^T\mathbf{s}_k} \frac{\mathbf{y}_k\mathbf{s}_k^T\mathbf{B}_k\mathbf{s}_k\mathbf{y}_k^T}{\left(\mathbf{y}_k^T\mathbf{s}_k\right)^2} \frac{\mathbf{y}_k\mathbf{y}_k^T}{\mathbf{y}_k^T\mathbf{s}_k}-\mathbf{B}_k \frac{\mathbf{B}_k\mathbf{s}_k\mathbf{s}_k^T\mathbf{B}_k}{\mathbf{s}_k^T\mathbf{B}_k\mathbf{s}_k}-\frac{\mathbf{y}_k\mathbf{y}_k^T}{\mathbf{y}_k^T\mathbf{s}_k}\right)\\ &=\mathbf{B}_k-\frac{\mathbf{B}_k\mathbf{s}_k\mathbf{s}_k^T\mathbf{B}_k}{\mathbf{s}_k^T\mathbf{B}_k\mathbf{s}_k} \frac{\mathbf{y}_k\mathbf{y}_k^T}{\mathbf{y}_k^T\mathbf{s}_k} \theta_k\left(-\frac{\mathbf{y}_k\mathbf{s}_k^T\mathbf{B}_k}{\mathbf{y}_k^T\mathbf{s}_k}-\frac{\mathbf{B}_k\mathbf{s}_k\mathbf{y}_k^T}{\mathbf{y}_k^T\mathbf{s}_k} \frac{\mathbf{y}_k\mathbf{s}_k^T\mathbf{B}_k\mathbf{s}_k\mathbf{y}_k^T}{\left(\mathbf{y}_k^T\mathbf{s}_k\right)^2} \frac{\mathbf{B}_k\mathbf{s}_k\mathbf{s}_k^T\mathbf{B}_k}{\mathbf{s}_k^T\mathbf{B}_k\mathbf{s}_k}\right)\\ &=\mathbf{B}_k-\frac{\mathbf{B}_k\mathbf{s}_k\mathbf{s}_k^T\mathbf{B}_k}{\mathbf{s}_k^T\mathbf{B}_k\mathbf{s}_k} \frac{\mathbf{y}_k\mathbf{y}_k^T}{\mathbf{y}_k^T\mathbf{s}_k} \theta_k\left(\mathbf{s}_k^T\mathbf{B}_k\mathbf{s}_k\right)\left(\frac{\mathbf{y}_k}{\mathbf{y}_k^T\mathbf{s}_k}-\frac{\mathbf{B}_k\mathbf{s}_k}{\mathbf{s}_k^T\mathbf{B}_k\mathbf{s}_k}\right)\left(\frac{\mathbf{y}_k}{\mathbf{y}_k^T\mathbf{s}_k}-\frac{\mathbf{B}_k\mathbf{s}_k}{\mathbf{s}_k^T\mathbf{B}_k\mathbf{s}_k}\right)^T \end{aligned} Bk+1θ=θkBk+1DFP+(1−θk)Bk+1BFGS=Bk+1BFGS+θk(Bk+1DFP−Bk+1BFGS)=Bk−skTBkskBkskskTBk+ykTskykykT+θk((I−ykTskskykT)TBk(I−ykTskskykT)+ykTskykykT−Bk+skTBkskBkskskTBk−ykTskykykT)=Bk−skTBkskBkskskTBk+ykTskykykT+θk(Bk−y