作者！歪杠小胀@知乎（已授权）
来源丨https://zhuanlan.zhihu.com/p/451441329
极市平台编辑
若只有一个loss，那么直接loss.backward()可以，但不止一个loss时，不知道将军backward()放在哪里？本文作者总结了自己遇到问题时的一些解决方案，希望能和大家讨论交流~
记录本文的初衷
最近在复制一篇论文的训练代码时，发现了原论文中的总数loss由多个loss组成。如果只有一个loss，那么直接loss.backward()可以，但这里不止一个。刚开始看到不止一个。loss时，不知道将军backward()放在哪里。
forjinrange(len(output)): loss =criterion(output[j],target_var)众所周知，传统的梯度回传步骤是这样的:
outputs=model(images) loss=criterion(outputs,target) optimizer.zero_grad() loss.backward() optimizer.step()首先，模型将通过输入的图像和标签计算相应的损失函数；
然后清除以前的梯度
optimizer.zero_grad()；梯度回传，计算当前梯度
loss.backward()计算当前梯度的反向传播；根据当前的梯度来更新网络参数。一般来说是进来一个
batch计算梯度，然后更新网络optimizer.step()
现在我需要一个for循环中计算loss，于是我就在想是否需要在for循环中进行backward()的计算呢？
forjinrange(len(output)): loss =criterion(output[j],target_var) loss.backward()但是计算完一个loss之后就使用backward方法，发现错误：
原因是在Pytorch在中间，计算图只允许一次损失的返回计算。每次梯度返回时，中间变量将被释放。所以如果你想这次batch当再次计算图的梯度时，程序会发现中间的计算图已经消失了，所以自然没有办法计算梯度。
我在网上看到了一个解决办法。backward中加入retain_grad=True，也就是backward(retain_graph=True)。
这句话的意思是计算图暂时不释放，所以计算图不会在后续的训练过程中释放，而是会一直积累，但是随着训练的进行，会出现OOM。因此，最后一个需要loss计算时，把(retain_graph=True)去掉，也就是只用backward()，除了最后loss释放资源，计算梯度，前几个loss这一步没有进行。
forjinrange(len(output)): loss =criterion(output[j],target_var) loss.backward()也许有些学生会问，为什么不这样写呢？我以前也是这样，但我发现了loss它没有减少，所以它开始从loss我找到了原因，但我不明白为什么不减少。我希望有理解的学生能沟通~
事实上，在这种情况下，最好的办法是分开写，然后总结到一般loss中计算backward计算。如：
loss1=Loss(output[0],target) loss2=Loss(output[1],target) loss3=Loss(output[2],target) loss4=Loss(output[3],target) loss=loss1 loss2 loss3 loss4 loss.backward()当我这样写的时候，loss正常下降loss当下降正常时，我有点放心。
其他可能的错误原因
查询数据时，发现即使只计算一个loss，也可能出现错误。
有可能你计算的设备是一个
cpu上，一个在gpu，因此，设备可以设置为同一个。也有可能在多个循环中，有些输入不需要计算梯度，此时可以输入
require_grad设置为False。关于张量
tensor中的require_grad属性:如果一个张量是它的requires_grad=True，然后在计算反向传播梯度时调用backward()该方法将计算张量的梯度。但需要注意的是，计算梯度后，梯度不一定总是保存在属性中grad中，只有对requires_grad=True梯度将始终保存在叶子结点，即梯度将始终保存在叶子张力中grad属性中。对于非叶节点，即中间节点的张力，我们通常会释放中间计算的梯度，以便在计算梯度后更有效地利用内存。在使用
LSTM、GRU在这些网络中，我认为这是因为它们不仅从前到后计算梯度，而且从后到前计算梯度，所以它们可以被视为梯度在两个方向上传播，所以在这个过程中会有重叠的部分。所以它可能需要使用detach截断。在源代码中，detach的注释是：。它将一个结点变成一个不需要梯度的变量，并将其从当前的计算图中剥离出来。因此，当反向传输通过结点时，梯度不会从结点传输到前面。
detach()与detach_()
pytorch有两个函数detach()、detach_()，它们的名称和功能非常相似，都用于切断梯度的反向传播。那么什么时候用呢？
当我们在训练网络的时候可能希望保持一部分的网络参数不变，而只对网络的一部分参数进行调整；或者只训练网络的部分分支网络，并且不想让其梯度对主网络的梯度造成影响。这时候我们就可以使用这两个函数来进行截断梯度的反向传播。
两者的区别在于detach_()它是为了改变自己，而detach()它产生了一个新的tensor。
使用detach()Variable。虽然它是从当前计算图中分离下来的，但是仍指向原变量的存放位置，也就是共享同一个内存区域。使用了detach后，它的requires_grad属性为False，也就是不需要再计算它的梯度。即使之后重新将它的requires_grad变为True，它也不会具有梯度grad。这样我们就会继续使用这个新的变量进行计算，后面当我们进行反向传播时，梯度会一直计算直到到达这个调用了detach()的结点，到达这个结点后就会停止，不会再继续向前进行传播。
但是返回的变量和原始的结点是共用同一个内存区域，所以如果使用了detach后，又对其进行修改，那么进行调用backward()时，就可能会导致错误。
使用tensor.detach_()则会将一个tensor从创建它的图中分离，并把它设置成叶子结点。举个例子：
假设一开始的变量关系为：x ->m -> y，那么这里的叶子结点就是x，当这个时候对m进行了m.detach_()操作，首先会取消m与前一个结点x的关联，并且grad_fn为None。此时，这里的关系就会变成x，m ->y，这个时候m就变成了叶子结点。然后再将m的requires_grad属性设置为False，当我们对y进行backward()时就不会求m的梯度。
如何编写更能节省内存的backward
说到梯度回传，我在网上也看到有人的写法是这样的，目的是为了节省内存：
for i, (images, target) in enumerate(train_loader):
images = images.cuda(non_blocking=True)
target = torch.from_numpy(np.array(target)).float().cuda(non_blocking=True)
outputs = model(images)
loss = criterion(outputs, target)
loss = loss / accumulation_steps
loss.backward()
if (i + 1) % accumulation_steps == 0:
optimizer.step()
optimizer.zero_grad()首先进行正向传播，将数据传入网络进行推理，得到结果
将预测结果与
label输入进损失函数中计算损失进行反向传播，计算梯度
重复前面的步骤，先不清空梯度，而是先将梯度进行累加，当梯度累加达到固定次数之后就更新网络参数，然后将梯度置零
梯度累加就是每次获取1个batch的数据，计算1次梯度，但是先不进行清零，而是做梯度的累加，不断地进行累加，当累加到一定的次数之后，再更新网络参数，然后将梯度清零，进行下一个循环。
通过这种参数延迟更新的手段，可以实现与采用大batch size相近的效果。在平时的实验过程中，我一般会采用梯度累加技术，大多数情况下，采用梯度累加训练的模型效果，要比采用小batch size训练的模型效果要好很多。
一定条件下，batch size越大训练效果越好，梯度累加则实现了batch size的变相扩大，如果accumulation_steps为8，则batch size就变相扩大了8倍，使用时需要注意，学习率也要适当放大：因为使用的样本增多，梯度更加稳定了。
有人会问，在上面的代码中为什么不直接对多个batch的loss先求和然后再取平均、再进行梯度回传和更新呢？
按我的理解这是为了减小内存的消耗。当采用多个batch的loss求和平再均后再回传的方式时，我们会进行accumulation_steps 次batch的前向计算，而前向计算后都会生成一个计算图。也就是说，在这种方式下，会生成accumulation_steps个计算图再进行backward计算。
而采用上述代码的方式时，当每次的batch前向计算结束后，就会进行backward的计算，计算结束后也就释放了计算图。又因为这两者计算过程的梯度都是累加的，所以计算结果都是相同的，但是上述的方法在每一时刻中，最多只会生成一张计算图，所以也就减小了计算中的内存消耗。
结语
其实通过这次探讨，只能说是了解地稍微深一些了，但是其中的原理还是不太明白。比如autograd的跟踪、in-place operations的属性，什么时候requires_grad为True，什么时候又为False，什么时候梯度会进行覆盖等等，这一些还是一头雾水。特别是上面那种写法，搞不明白loss为什么就突然下降了，所以还是得多学多用才能记住，才能深刻理解。
我也看到很多文章提到：其实大部分的写法都十分高效了，所以除非处于非常沉重的内存压力下，否则一般不会用到太多骚操作。
本文仅做学术分享，如有侵权，请联系删文。
后台回复：即可下载国外大学沉淀数年3D Vison精品课件
后台回复：即可下载3D视觉领域经典书籍pdf
后台回复：即可学习3D视觉领域精品课程
1.面向自动驾驶领域的多传感器数据融合技术
2.面向自动驾驶领域的3D点云目标检测全栈学习路线！(单模态+多模态/数据+代码)3.彻底搞透视觉三维重建：原理剖析、代码讲解、及优化改进4.国内首个面向工业级实战的点云处理课程5.激光-视觉-IMU-GPS融合SLAM算法梳理和代码讲解6.彻底搞懂视觉-惯性SLAM：基于VINS-Fusion正式开课啦7.彻底搞懂基于LOAM框架的3D激光SLAM: 源码剖析到算法优化8.彻底剖析室内、室外激光SLAM关键算法原理、代码和实战(cartographer+LOAM +LIO-SAM)
9.从零搭建一套结构光3D重建系统[理论+源码+实践]
10.单目深度估计方法：算法梳理与代码实现
11.自动驾驶中的深度学习模型部署实战
12.相机模型与标定(单目+双目+鱼眼）
13.重磅！四旋翼飞行器：算法与实战
14.ROS2从入门到精通：理论与实战
15.国内首个3D缺陷检测教程：理论、源码与实战
扫码添加小助手微信，可申请加入3D视觉工坊-学术论文写作与投稿 微信交流群，旨在
也可申请加入我们的细分方向交流群，目前主要有、、、、、等微信群，请扫描下面微信号加群，备注：”研究方向+学校/公司+昵称“，例如：”3D视觉 + 上海交大 + 静静“。请按照格式备注，否则不予通过。添加成功后会根据研究方向邀请进去相关微信群。也请联系。
▲长按加微信群或投稿
▲长按关注公众号
：针对3D视觉领域的五个方面进行深耕，更有各类大厂的算法工程人员进行技术指导。与此同时，星球将联合知名企业发布3D视觉相关算法开发岗位以及项目对接信息，打造成集技术与就业为一体的铁杆粉丝聚集区，近4000星球成员为创造更好的AI世界共同进步，知识星球入口：
学习3D视觉核心技术，扫描查看介绍，3天内无条件退款
圈里有高质量教程资料、答疑解惑、助你高效解决问题