在上一节中，我们试图通过更复杂的模型（经典的全连接神经网络和卷积神经网络）来提高手写数字识别模型训练的准确性。在本节中，我们继续从水平开始水平和垂直教学方法，如 图1 探讨损失函数优化对模型训练效果的影响。

损失函数是模型优化的目标，用于识别许多参数值中最理想的值。在训练过程的代码中计算损失函数，每轮模型训练过程相同，分为以下三个步骤：

1. 预测输出应根据输入数据进行正向计算。
2. 损失按预测值和真实值计算。
3. 最后，根据损失反向传输梯度更新参数。

在之前的计划中，我们重复使用了房价预测模型的损失函数均方误差。从预测效果来看，虽然损失在下降，模型的预测值逐渐接近真实值，但模型的最终效果并不理想。根本上，不同的深度学习任务需要有自己合适的损失函数。以房价预测和手写数字识别为例，详细分析了原因如下：

如果模型能够输出10个标签的概率，则真实标签的概率输出应尽可能接近100%，而其他标签的概率输出应尽可能接近0%，所有输出概率之和应为1。这是一个更合理的假设！相应地，真实的标签值可以转换为10维one-hot在对应数字的位置上，向量为1，其余位置为0，如标签6可转换为[0、0、0、0、0、0、1、0、0、0]。

为了实现上述思路，需要引入Softmax函数可以将原始输出转换为相应标签的概率，公式如下 C C C是标签类别的数量。

s o f t m a x ( x i ) = e x i ∑ j = 0 N e j x , i = 0 , . . . , C ? 1 softmax(x_i) = \frac {e^{x_i}}{\sum_{j=0}^N{e^x_j}}, i=0, ..., C-1 softmax(xi​)=∑j=0N​ejx​exi​​,i=0,...,C−1

在模型输出为分类标签的概率时，直接以标签和概率做比较也不够合理，人们更习惯使用交叉熵误差作为分类问题的损失衡量。

交叉熵损失函数的设计是基于最大似然思想：最大概率得到观察结果的假设是真的。如何理解呢？举个例子来说，如 图7 所示。有两个外形相同的盒子，甲盒中有99个白球，1个蓝球；乙盒中有99个蓝球，1个白球。一次试验取出了一个蓝球，请问这个球应该是从哪个盒子中取出的？

相信大家简单思考后均会得出更可能是从乙盒中取出的，因为从乙盒中取出一个蓝球的概率更高 ( P ( D ∣ h ) ) (P(D|h)) (P(D∣h))，所以观察到一个蓝球更可能是从乙盒中取出的 ( P ( h ∣ D ) ) (P(h|D)) (P(h∣D))。 D D D是观测的数据，即蓝球白球； h h h是模型，即甲盒乙盒。这就是贝叶斯公式所表达的思想：

P ( h ∣ D ) ∝ P ( h ) ⋅ P ( D ∣ h ) P(h|D) ∝ P(h) \cdot P(D|h) P(h∣D)∝P(h)⋅P(D∣h)

依据贝叶斯公式，某二分类模型“生成” n n n个训练样本的概率：

P ( x 1 ) ⋅ S ( w T x 1 ) ⋅ P ( x 2 ) ⋅ ( 1 − S ( w T x 2 ) ) ⋅ … ⋅ P ( x n ) ⋅ S ( w T x n ) P(x_1)\cdot S(w^{T}x_1)\cdot P(x_2)\cdot(1-S(w^{T}x_2))\cdot … \cdot P(x_n)\cdot S(w^{T}x_n) P(x1​)⋅S(wTx1​)⋅P(x2​)⋅(1−S(wTx2​))⋅…⋅P(xn​)⋅S(wTxn​)

说明：

对于二分类问题，模型为 S ( w T x i ) S(w^{T}x_i) S(wTxi​)， S S S为Sigmoid函数。当 y i y_i yi​=1，概率为 S ( w T x i ) S(w^{T}x_i) S(wTxi​)；当 y i y_i yi​=0，概率为 1 − S ( w T x i ) 1-S(w^{T}x_i) 1−S(wTxi​)。

经过公式推导，使得上述概率最大等价于最小化交叉熵，得到交叉熵的损失函数。交叉熵的公式如下：

L = − [ ∑ k = 1 n t k log ⁡ y k + ( 1 − t k ) log ⁡ ( 1 − y k ) ] L = -[\sum_{k=1}^{n} t_k\log y_k +(1- t_k)\log(1-y_k)] L=−[k=1∑n​tk​logyk​+(1−tk​)log(1−yk​)]

其中， log ⁡ \log log表示以 e e e为底数的自然对数。 y k y_k yk​代表模型输出， t k t_k tk​代表各个标签。 t k t_k tk​中只有正确解的标签为1，其余均为0（one-hot表示）。

因此，交叉熵只计算对应着“正确解”标签的输出的自然对数。比如，假设正确标签的索引是“2”，与之对应的神经网络的输出是0.6，则交叉熵误差是 − log ⁡ 0.6 = 0.51 −\log 0.6 = 0.51 −log0.6=0.51；若“2”对应的输出是0.1，则交叉熵误差为 − log ⁡ 0.1 = 2.30 −\log 0.1 = 2.30 −log0.1=2.30。由此可见，交叉熵误差的值是由正确标签所对应的输出结果决定的。

自然对数的函数曲线可由如下代码实现。

import matplotlib.pyplot as plt
import numpy as np
x = np.arange(0.01,1,0.01)
y = np.log(x)
plt.title("y=log(x)") 
plt.xlabel("x") 
plt.ylabel("y") 
plt.plot(x,y)
plt.show()
plt.figure()

如自然对数的图形所示，当 x x x等于1时， y y y为0；随着 x x x向0靠近， y y y逐渐变小。因此，“正确解”标签对应的输出越大，交叉熵的值越接近0；当输出为1时，交叉熵误差为0。反之，如果“正确解”标签对应的输出越小，则交叉熵的值越大。

在手写数字识别任务中，仅改动三行代码，就可以将在现有模型的损失函数替换成交叉熵（cross_entropy）。

• 在读取数据部分，将标签的类型设置成int，体现它是一个标签而不是实数值（飞桨默认将标签处理成“int64”）。
• 在网络定义部分，将输出层改成“输出十个标签的概率”的模式。
• 在训练过程部分，将损失函数从均方误差换成交叉熵。