12.非线性支持向量机和核函数
线性可分：使用分离超平面 ω ? x b \omega\cdot x b ω?x b完全分离数据集；
非线性可分:用超曲面分离数据集。
非线性问题往往很难解决，所以我希望通过解决线性分类间题来解决这个问题。
方法是进行非线性转换，将非线性问题转化为线性问题，通过解决转换后的线性问题来解决原来的非线性问题。
也就是说，如何将原始空间上的点映射到新空间上的点！
13.核函数有什么用？
原始空间：输入空间 min ?? ∑ i = 1 N ∑ j = 1 N α i α j y i y j ( x i ? x j ) ? ∑ i = 1 N α i s . t . ?? ∑ i = 1 N α i y i = 0 ?? , ?? α i ≥ 0 ?? , ?? i = 1 , 2 , ? ? , N \begin{split} &\min\;\sum_{i=1}^{N}\sum_{j=1}^{N}\alpha_i\alpha_jy_iy_j(x_i\cdot x_j)-\sum_{i=1}^{N}\alpha_i\\ &s.t.\;\sum_{i=1}^{N}\alpha_iy_i=0\;,\;\alpha_i\geq0\;,\;i=1,2,\cdots,N \end{split} mini=1∑Nj=1∑Nαiαjyiyj(xi⋅xj)−i=1∑Nαis.t.i=1∑Nαiyi=0,αi≥0,i=1,2,⋯,N
在上式中 x i ⋅ x j x_i\cdot x_j xi⋅xj是内积，新空间中可能变为 z z z，对应希尔伯特空间，要能计算 z i ⋅ z j z_i\cdot z_j zi⋅zj。
希望找到一个映射 ϕ ( x ) : χ → \phi(x):\chi\rightarrow ϕ(x):χ→ H H H z i = ϕ ( x i ) , z j = ϕ ( x j ) z i ⋅ z j = ϕ ( x i ) ⋅ ϕ ( x j ) = K ( x i , x j ) \begin{split} &z_i=\phi(x_i)\;,\;z_j=\phi(x_j)\\ &z_i\cdot z_j=\phi(x_i)\cdot \phi(x_j)=K(x_i,x_j) \end{split} zi=ϕ(xi),zj=ϕ(xj)zi⋅zj=ϕ(xi)⋅ϕ(xj)=K(xi,xj)
如果可以实现，非线性支持向量机变为: min ∑ i = 1 N ∑ j = 1 N α i α j y i y j K ( x i , x j ) − ∑ i = 1 N α i \min\;\sum_{i=1}^{N}\sum_{j=1}^{N}\alpha_i\alpha_jy_iy_jK(x_i,x_j)-\sum_{i=1}^{N}\alpha_i mini=1∑Nj=1∑NαiαjyiyjK(xi,xj)−i=1∑Nαi
接下来我们看一个例子:
K ( x , z ) = ( x ⋅ z ) 2 , x z ∈ R 2 K(x,z)=(x\cdot z)^2\;,\;x\;z\in R^2 K(x,z)=(x⋅z)2,xz∈R2
请问: ϕ → H \phi\rightarrow H ϕ→H?
我们尝试 H = R 3 H=R^3 H=R3 ϕ ( x ) = ( ( x ( 1 ) ) 2 , 2 x ( 1 ) x ( 2 ) , ( x ( 2 ) ) 2 ) T \phi(x)=((x^{(1)})^2,\sqrt{2}x^{(1)}x^{(2)},(x^{(2)})^2)^T ϕ(x)=((x(1))2,2 x(1)x(2),(x(2))2)T
1) ϕ : R 2 → R 3 \phi:R^2\rightarrow R^3 ϕ: