资讯详情

MLP理论推导与pytorch实现

说明 该部分介绍MLP并基于四种形式pytorch实现解神经网络奠定基础

文章目录

  • 一个单样本输出
    • 1.1理论
    • 1.2实操
      • 1.2.1使用已建模型
      • 1.2.2自己建模
  • 2.一个输出多样本
    • 2.1理论
    • 2.2实操
      • 2.2.1使用已建模型
      • 2.2.2自己建模
  • 3.单样本多输出
    • 3.1理论
    • 3.2实操
      • 3.2.1使用已建立的模型
      • 3.2.2自己建模
  • 4.多样本多输出
    • 4.1理论
    • 4.2实操
      • 4.2.1使用已建立的模型
      • 4.2.2自己建模

一个单样本输出

1.1理论

约定向量均为列向量 假设样本有 d d d一个属性,一个输出,然后将输入样本写成列向量 x = [ x 1 x 2 ? x d ] x=\begin{bmatrix} x_1\\ x_2\\ \vdots\\ x_d \end{bmatrix} x=? ?x1x2/span>⋮xd​​⎦ ⎤​ 权重也写成列向量写成列向量 w = [ w 1 w 2 ⋮ w d ] w=\begin{bmatrix} w_1\\ w_2\\ \vdots\\ w_d \end{bmatrix} w=⎣ ⎡​w1​w2​⋮wd​​⎦ ⎤​ 将MLP理解为没有使用激活函数的神经网络,或者激活函数就是 f ( x ) = x f(x)=x f(x)=x, d d d个属性也就意味着输入有 d d d个神经元,1个输出,意味着输出是1个神经元,其结构如下图 在这里插入图片描述 那么输出 y = w 1 x 1 + w 2 x 2 + ⋯ + w d x d + b = w 1 x 1 + w 2 x 2 + ⋯ + w d x d + b = ∑ i = 1 d x i w i + b = x T w + b = w T x + b (1) y=w_1x_1+w_2x_2+\dots+w_dx_d+b=w_1x_1+w_2x_2+\dots+w_dx_d+b\\=\sum_{i=1}^dx_iw_i+b=x^Tw+b=w^Tx+b\tag{1} y=w1​x1​+w2​x2​+⋯+wd​xd​+b=w1​x1​+w2​x2​+⋯+wd​xd​+b=i=1∑d​xi​wi​+b=xTw+b=wTx+b(1)

设 b = w 0 x 0 b=w_0x_0 b=w0​x0​,且 w 0 = b , x 0 = 1 w_0=b,x_0=1 w0​=b,x0​=1 那么(1)式可进一步写成 y = w 1 x 1 + w 2 x 2 + ⋯ + w d x d + w 0 x 0 = ∑ i = 0 d w i x i = x ^ T w ^ = w ^ T x ^ (2) y=w_1x_1+w_2x_2+\dots+w_dx_d+w_0x_0=\sum_{i=0}^dw_ix_i=\hat{x}^T\hat{w}=\hat{w}^T\hat{x}\tag{2} y=w1​x1​+w2​x2​+⋯+wd​xd​+w0​x0​=i=0∑d​wi​xi​=x^Tw^=w^Tx^(2) 其中 x ^ = [ x 0 x 1 x 2 ⋮ x d ] \hat{x}=\begin{bmatrix} x_0\\ x_1\\ x_2\\ \vdots\\ x_d \end{bmatrix} x^=⎣ ⎡​x0​x1​x2​⋮xd​​⎦ ⎤​ w ^ = [ w 0 w 1 w 2 ⋮ w d ] \hat{w}=\begin{bmatrix} w_0\\ w_1\\ w_2\\ \vdots\\ w_d \end{bmatrix} w^=⎣ ⎡​w0​w1​w2​⋮wd​​⎦ ⎤​ 为便于书写,当然将 x ^ \hat{x} x^写成 x x x,将 w ^ \hat{w} w^写成 w w w,所以 y = w 1 x 1 + w 2 x 2 + ⋯ + w d x d + w 0 x 0 = ∑ i = 0 d w i x i = x ^ T w ^ = w ^ T x ^ = x T w = w T x (3) y=w_1x_1+w_2x_2+\dots+w_dx_d+w_0x_0=\sum_{i=0}^dw_ix_i=\hat{x}^T\hat{w}=\hat{w}^T\hat{x}=x^Tw=w^Tx\tag{3} y=w1​x1​+w2​x2​ 标签: 5w12v直插二极管sick小型光电传感器w12g

锐单商城拥有海量元器件数据手册IC替代型号,打造 电子元器件IC百科大全!

锐单商城 - 一站式电子元器件采购平台