• 参考:动手学深度学习:
• 注：本文是 jupyter notebook 当文档转换时，可能无法直接复制部分代码！

---

• 前文介绍的 经典机器学习方法(1)—— 线性回归 本文介绍了适用于离散值预测(分类问题)的连续值预测(回归问题) softmax 基于神经网络的经典回归模型分类模型
• softmax 回归和线性回归内部也是线性模型，区别在于
  1. softmax 回归输出从一个变为多个
  2. softmax 引入回归 softmax 运算使其更适合预测和训练离散值

1. softmax 回归原理

1.1 分类问题

• 考虑以下简单的分类问题

  1. 输入： 2 × 2 2\times 2 2×2 尺寸的图像 x \pmb{x} xxx，四个像素记为 x 1 , x 2 , x 3 , x 4 x_1,x_2,x_3,x_4 x1,x2​,x3​,x4​
  2. 输出：预测标记 y ∈ Y y \in\mathcal{Y} y∈Y，其中 Y = { y 1 , y 2 , y 3 } \mathcal{Y} = \{y_1,y_2,y_3\} Y={ y1​,y2​,y3​} 是大小为 3 的输出空间。我们习惯使用离散的数值来表示类别，比如将其处理为 y 1 = 1 ， y 2 = 2 , y 3 = 3 y_1=1，y_2=2,y_3=3 y1​=1，y2​=2,y3​=3，这样需要输出 1，2，3 这三个数字中的一个

  如果使用数值化的标记，仍然可以使用回归模型来处理，将预测值就近离散化到 1、2、3 这三个值即可。但是这种连续值到离散值的转化通常会影响分类质量，所以一般采用专门针对离散值输出的分类模型来解决分类问题

1.2 softmax 回归模型

• softmax 回归模型内部和线性回归模型几乎一致，也是一个简单的单层全连接神经网络，只是在输出层增加了节点，以获得 ∣ Y ∣ |\mathcal{Y}| ∣Y∣ 个输出，以 1.1 节的 4 维输入（特征维度为4） 3 维输出（类别总数为3）为例

  其中每个输出层节点都是输入的线性组合，即 o 1 = x 1 w 11 + x 2 w 21 + x 3 w 31 + x 4 w 41 + b 1 o 2 = x 1 w 12 + x 2 w 22 + x 3 w 32 + x 4 w 42 + b 2 o 3 = x 1 w 13 + x 2 w 23 + x 3 w 33 + x 4 w 43 + b 3 \begin{aligned} &o_1 = x_1w_{11}+x_2w_{21}+x_3w_{31}+x_4w_{41} + b_1\\ &o_2 = x_1w_{12}+x_2w_{22}+x_3w_{32}+x_4w_{42} + b_2\\ &o_3 = x_1w_{13}+x_2w_{23}+x_3w_{33}+x_4w_{43} + b_3\\ \end{aligned} ​o1​=x1​w11​+x2​w21​+x3​w31​+x4​w41​+b1​o2​=x1​w12​+x2​w22​+x3​w32​+x4​w42​+b2​o3​=x1​w13​+x2​w23​+x3​w33​+x4​w43​+b3​​

• 为了得到离散的预测输出，我们可以把输出值 o i o_i oi​ 看作置信度，输出越大的节点，对应的标记越可能是真实标签。在这里我们使用 softmax 运算将其输出值转换为正且和为 1 的概率分布，即 y ^ 1 , y ^ 2 , y ^ 3 = softmax ( o 1 , o 2 , o 3 ) \hat{y}_1,\hat{y}_2,\hat{y}_3 = \text{softmax}(o_1,o_2,o_3) y^​1​,y^​2​,y^​3​=softmax(o1​,o2​,o3​) 其中 y ^ i \hat{y}_i y^​i​ 是如下计算的 y ^ i = exp ⁡ ( o i ) ∑ j exp ⁡ ( o j ) \hat{y}_i = \frac{\exp(o_i)}{\sum_j \exp(o_j)} y^​i​=∑j​exp(oj​)exp(oi​)​ 我们注意到 arg ⁡ max ⁡ i o i = arg ⁡ max ⁡ i y ^ i \arg\max_i o_i = \arg\max_i \hat{y}_i argmaxi​oi​=argmaxi​y^​i​，因此 softmax 运算不改变预测类别输出

1.2.1 单样本分类的矢量计算表达式

• 为了提升运算效率，将上述运算都改成矩阵形式，
  1. softmax 回归的权重和偏置参数为 W = [ w 11 w 12 w 13 w 21 w 22 w 23 w 31 w 32 w 33 w 41 w 42 w 43 ]     b = [ b 1 , b 2 , b 3 ] \pmb{W} = \begin{bmatrix} w_{11} & w_{12} & w_{13} \\ w_{21} & w_{22} & w_{23} \\ w_{31} &w_{32} & w_{33} \\ w_{41} &w_{42} & w_{43} \\ \end{bmatrix}\space\space\space \pmb{b} = [b_1,b_2,b_3] WWW=⎣⎢⎢⎡​w11​w21​w31​w41​​w12​w22​ 标签： 5w33kr电阻
     锐单商城拥有海量元器件数据手册、 IC替代型号，打造 电子元器件IC百科大全！