【Pytorch学习笔记】5.总结一下一个深度学习模型的实现过程（以Softmax回归从零实现为例）

比如我们想用Softmax回归模型，实现图片分类问题。 后面是目的，前面是手段。 然后脑海中需要出现几个解决问题的基本步骤:

• 获取和读取数据
• 定义模型：①根据模型初始化模型参数，②定义模型和损失函数
• 定义优化算法(如SGD）用于学习参数
• 训练模型
• 评估模型

• 首先，我们需要创建一个数据集对象Dataset()

对于获取数据，一般来说，初学者些公开数据集获取数据的人通常会使用数据pytorch一些相关库的方法。 例如，我们想读 FashionMNIST 用于通过的数据集Softmax模型解决数据集的分类问题(或评估)Softmax模型的分类性能，Whatever，不同的表达)。

我们通常使用它torchvision.datasets下一类创建数据集，有很多公共数据集可以直接下载获取，如果我们需要的话FashionMNIST数据集：

# 对于机器学习问题，通常会生成训练集和测试集 mnist_train = torchvision.datasets.FashionMNIST(     root='~/Datasets/FashionMNIST', train=True, download=True,      transform=transforms.ToTensor()) mnist_test = torchvision.datasets.FashionMNIST(     root='~/Datasets/FashionMNIST', train=False, download=True,      transform=transforms.ToTensor()) 

• 然后创建数据集对象Dataset()进入数据加载器Dataloader()

我们创造一个Dataset一般后直接传入torch.utils.data.Dataloader() 生成一个Dataloader对象。

batch_size = 256 train_iter = torch.utils.data.DataLoader(     mnist_train, batch_size=batch_size, shuffle=True, num_workers=0) test_iter = torch.utils.data.DataLoader(     mnist_test, batch_size
       
        =batch_size
        , shuffle
        =
        False
        , num_workers
        =
        0
        ) 
        # 这里的num_workers表示数据读取的线程数，Windows系统一般默认设0，这里更多信息可以自行搜索学习。 
       

生成Dataloader后，就可以使用for循环读取批量数据了，一次循环是一个batch_size数量的数据。 batch_size是一个重要的超参数，横贯机器学习过程的始终，不仅方便计算机按批次读取数据减少内存开销，并且在计算梯度时，使用一个batch_size的数据进行迭代更新，大大减少计算量。

我们也可以使用next(iter(dataloader))手工读取一个批次的数据。

Dataloader是一个可迭代对象，它通过生成迭代器，来读取批量数据。 对于一些数据，我们还可以构建生成器来读取批量数据，这部分扩展阅读可以参考我这篇文章。

• 将模型的数学表达转换成代码表达

我们选择Softmax回归模型时，心中需要构思好这个模型的数学表达，见下。 需要注意的是，softmax回归本身是一个单层神经网络，并且和线性回归一样是全连接的： 这里提示我们要有一个思维：把一个数学模型用深度神经网络去构建解释。

先定义softmax：

def softmax(X):
    X_exp = X.exp()
    partition = X_exp.sum(dim=1, keepdim=True)
    return X_exp / partition  # 这里使用了广播机制

定义模型：

def net(X):
    return softmax(torch.mm(X.view((-1, num_inputs)), W) + b)

定义交叉熵损失函数：

def cross_entropy(y_hat, y):
    return -torch.log(y_hat.gather(dim=1, index=y.view(-1,1)))
# y就是待传入的那个批量的label数据

（定义交叉熵损失函数的细节可以参考我这篇文章）

我们在定义模型和损失函数时，在心中对模型的计算图最好有个大致的把握。 我们可以先看看本模型损失函数的梯度节点可视化： （可视化可参考我的这篇文章） 可以看到在这个损失函数的计算图里，我们要求的是顶端的两个参数W,b，整个损失函数是关于参数的函数。DivBackward0节点及以上部分是模型计算结果y_hat，节点以下部分流向损失函数的计算。

• 定义优化器以优化参数

本例中我们依然可使用随机梯度下降法（SGD）作为Optimizer，届时在训练时每个batch数据计算完后梯度后，利用当前梯度迭代更新一次参数。 优化器除了需要传入的待学习参数（本例为W,b）外，还需要传入一些超参数。

# lr是学习率。作为超参数。
def sgd(params, lr, batch_size):
    for param in params:
        param.data -= lr * param.grad / batch_size

接下去就是重头戏的训练环节了，我们一般定义一个训练函数train()作为一套训练的过程的打包。

1. 超参数：lr（学习率），num_epochs（训练轮数），batch_size 超参数一般根据经验设置，比如本例设lr=0.1，num_epochs=5 在深度学习模型中，一般需要训练多轮epoch才有比较好的效果
2. 常规参数： 训练集的Dataloader：train_iter 测试集的Dataloader：test_iter（视情况非必须） 模型名net：net 损失函数loss：cross_entropy 训练参数params：[W, b] 优化器Optimizer：None（我们直接在函数中封入SGD作为默认优化器，就可以不用再手动传）

1. 从训练集Dataloader获得一个X，y批次； 通过模型net算出预测值y_hat； 通过损失函数loss算出损失值l。

记得回顾上面那张计算图，只有待学习的参数W，b带梯度，是届时需要传入优化器更新的。 同时注意损失函数定义时一般返回的是一个batch_size长度的向量，对齐求sum()转换成标量以方便求导（见下方代码）。

2. 对参数W，b梯度清零
3. l.backward()针对这一批量的数据结果，反向传播，求出当前梯度
4. 之后W,b中就带有了梯度信息，这时传入优化器sgd对参数进行一次迭代更新：