在过去几年里，深度学习在视觉、自然语言处理、语音识别、推荐、智能控制等领域获得了许多重大的突破，并在很多的专项上超越了人类水平。众所周知，深度学习有三个基石：数据、算法和算力。大数据的兴起AI深度学习的主要优势之一是基于大量数据学习。算法为数据处理和学习提供了有效的方法。计算大量数据和复杂网络需要强大的计算能力支持。从某种意义上说，它们之间有一些互补的关系。比如近几年AutoML人们发现，机器搜索网络架构可以找到比人工设计更好的解决方案。Google的大神Jeff Dean（对，就是编译器从不给他警告，只有他给编译器警告的那位）就曾经表示：未来谷歌可能会用100倍的计算能力，取代机器学习专业知识。换句话说，如果你有足够的计算能力，你可以取代大多数算法设计。

该行业有几个基本思路：

• 给定算法模型如何让它跑得快？
  • 专用硬件设计牛X
  • 深度计算优化与硬件相结合
  • 通过调度提高硬件利用率
• 如何尽可能简化模型？
  • 如何设计更轻量化的网络结构？
  • 在给定模型的情况下，计算量是否必要(如果没有，如何压缩)

这些想法分别稍作展开。

以DNN计算模式的变化是现代流行机器学习模型在端上的广泛应用。DNN典型的计算（如矩阵乘加）一般具有逻辑简单、计算量大、重复计算的特点。这种计算模式的变化促进了芯片的发展和变化。主要的挑战来自两个方面：

很多时候，程序执行符合80/20法则。即80%的时间在跑20%的代码（当然，这里的数是虚指）。对于神经网络来说也不例外。如对于视觉任务中典型的CNN，通常卷积与全连接层会占到总计算量的80%~90%甚至更高。另外像在语音、自然语言理解领域常用的RNN中大量存在LSTM和GRU层，它们本质上也是做矩阵计算。因此很多时候大家做性能优化会focus在矩阵计算上。

抛开实现谈优化意义不大，或者说油水不多。只有考虑与平台硬件结合的深度优化，才能充分挖掘潜在的性能。因此，在计算实现中，需要考虑硬件特性和能力。例如处理器对于不同类型指令性能差异（如大多计算硬件上乘法比加法更耗时和耗能）和存储器层次结构（每一级的延时和能耗都可能相差数量级）。考虑到平台相关的硬件加速能力还有CPU的并行指令、GPU的并行编程等等。

最简单的方法当然是按公式来计算，称为直接法。全连接层其实就是矩阵和向量乘，不用多说。卷积层的定义稍稍复杂一些。为简单先不考虑stride，dilation等特殊卷积，且卷积核size宽高相等。记输入为 X X X，其维度为 N × C i × H i × W i N \times C_i \times H_i \times W_i N×Ci​×Hi​×Wi​，卷积核为 W W W，其维度 C o × C i × K × K C_o \times C_i \times K \times K Co​×Ci​×K×K，输出为 Y Y Y，维度为 N × C o × H o × W o N \times C_o \times H_o \times W_o N×Co​×Ho​×Wo​，则对输出张量中的每个元素，计算公式为：

Y n , c , x , y = ∑ m = 0 C i − 1 ∑ u = 0 K − 1 ∑ v = 0 K − 1 X n , m , x + u , y + v W c , m , u , v Y_{n,c,x,y} = \sum_{m=0}^{C_i - 1} \sum_{u=0}^{K - 1} \sum_{v=0}^{K - 1} X_{n, m, x+u, y+v} W_{c, m, u, v} Yn,c,x,y​=m=0∑Ci​−1​u=0∑K−1​v=0∑K−1​Xn,m,x+u,y+v​Wc,m,u,v​

算法复杂度为 O ( N C i C o H o W o K 2 ) O(N C_i C_o H_o W_o K^2) O(NCi​Co​Ho​Wo​K2)。其优点简单粗暴，且几乎无需额外的内存开销。其缺点也是显而易见的，就是效率会比较低。现代计算库一般都会使用一系列的计算实现优化，几个比较典型的如：

• Im2col-based：一边是大量卷积计算需求，另一边是几十年来深度优化的成熟的BLAS库。如何将两者连接起来呢？经典的im2col方法将输入矩阵转化成Teoplitz矩阵，这样卷积操作就转化成了矩阵间乘法操作，从而可以作为GEMM利用成熟计算库来加速。但它有个缺点是需要比较大的内存开销来存储临时矩阵。
• kn2系：im2col方法虽然可以利用BLAS的GEMM函数加速，但它需要 O ( C i K 2 H i W i ) O(C_iK^2H_iW_i) O(Ci​K2Hi​Wi​)的额外存储空间。在移动端设备内存也是很稀缺的资源，有没有可能在享受到BLAS加速的同时又可以占用少一些内存呢。kn2系方法避免了Toepliz矩阵的构建，其基本思想是将卷积分解成为多个矩阵乘用GEMM计算，然后移位后累加。额外内存减少到 O ( C o H i W i ) O(C_o H_i W_i) O(Co​Hi​Wi​)。其代价是更多次的GEMM调用。如果说im2col是拿空间换时间，那这个就是拿时间再换回一些空间。
• Strassen algorithm：这个矩阵乘法的优化大家一定不陌生，它也可以被扩展到卷积计算。我们知道，不少看上去还比较intuitive的算法会让人有种“我要是他我也能想出来”的错觉，然而有一些看完则会让人觉得“这怎么想出来的！”。该算法应该就属于后一种。通过一系列tricky的构造，它将分块递归过程中的8个子矩阵乘法干到7个，硬生生将复杂度从 Θ ( n 3 ) \Theta(n^3) Θ(n3)减到 O ( n 2.81 ) O(n^{2.81}) O(n2.81)。但其代价是会引入一些额外的矩阵加操作，因此在实际使用中需要有条件地使用，如矩阵比较大时。
• FFT-based：根据经典的Convolution theorem，空间域上的卷积操作等同于频率域上的乘积。因此，可以将原卷积经过傅立叶变换转到频率域，在频率域经过乘积后再通过逆傅立叶变换转到原空间域。这个过程的计算复杂度为 O ( H i W i log ⁡ ( H i W i ) ( C o C i + N C i + N C o ) + H i W i N C i C o ) O(H_iW_i \log (H_iW_i) (C_o C_i + NC_i + NC_o) + H_iW_iNC_iC_o) O(Hi​Wi​log(Hi​Wi​)(Co​Ci​+NCi​+NCo​)+Hi​Wi​NCi​Co​)。先不要管这式子为毛这么长，总之与前面直接法时间复杂度相比，这里没有卷积核的size了。这非常好，同时这也意味着只有当卷积核越大，它的优势越明显。另外，虽然这里有一来一回域间变换的额外运算，但一方面有快速傅立叶变换助力，另一方面由于每一个输入feature map要被重复使用多次，因此对应的转换可以重用。当然，这也意味着，feature map的通道数越多越适用。
• Winograd-based：该方法基于Winograd algorithm。它以更多的加法数量和中间结果乘法数量为代价达到理论上最少的乘法次数。该方法的计算复杂度随着卷积核size平方的速度增长，因此和上面FFT-based方法相反，它主要适用于小的kernel（如3x3）。不过，好在现代主流的神经网络也是以这种小kernel为主，因此被广泛使用。

我们可以看到，就像其它很多计算任务一样，没有一种实现方法是万能的。因此，用时需要根据实际情况来。实际使用中还会有不少坑，如有些方法可能对精度有较大影响，而有些是基于一些硬件特性假设的。因此，如果你尝试了一种看起来非常牛X的计算优化，结果却不尽如人意，不要伤心，不要难过，很可能只是不满足该算法的某些隐式假设。为了避免人肉挑选之苦，业界也有尝试通过自动化的方法来为神经网络中每个卷积选取最合适的实现算法。

还有一类优化是并行优化。对于矩阵乘加这样天然可并行的计算，不并行白不并行。常用的手段有几类：

• CPU并行指令：SIMD指令，即一条指令可以操作多个数据。比如对于4个乘法操作，原本要分4个指令，现在一条指令搞定。x86平台上有SSE和AVX指令集，ARM平台上有NEON指令集。当只能用CPU时，这几乎总能给性能带来明显的提升。
• 多线程：虽没有GPU的大规模并行能力，但CPU也有多核。其并行能力可以通过多线程来利用。我们大多时候不必从头写线程调度，可以依赖OpenMP这样的库，或者更高层的库。
• GPU并行编程：这个topic就非常非常大了。比较主流的有CUDA和OpenCL。严格意义上讲两个不是完全平级的东西，虽然都可以指一种并行编程接口。前者是Nvidia家的，是一整个生态，只要用的N卡基本没谁就它了。后者是一个标准，具体由各厂家去实现，最大优点就是跨平台通用（不过也得看各家支持的情况。。。）。

再次回到访存优化的话题。无论是CPU还是GPU，都存在存储器层次结构（memory hierarchy）的概念。对于这个层次结构中的每两个层级之间，其速率都可能有数量级的差异。为了让计算尽可能少地访问内存，就需要让程序尽可能cache friendly。做得好和不好有时性能会是成倍的差异。在NN计算优化中，针对访存的优化很多。举两个常见且效果明显的典型例子：

• Tiling/Blocking：对于两个矩阵相乘，我们知道用原始定义计算的话对cache不友好。如果矩阵比较大的话，尽管一个元素会多次参与计算，但当它下次参与计算时，早被踢出cache了。一个好的办法就是分块。那么问题来了，分块分多大，按哪个轴分，都对性能有很大影响。另问题更加复杂的是这个最优值还是和具体计算任务和硬件平台相关的。一种方法是针对平台做尽可能通用的优化。这就像做爆款，对大部分人来说都不错；另一种方式就是干脆量体裁衣，对给定模型在特定平台通过tuning的方式得到合适的调度策略。如TVM中的auto-tuning技术基于Halide中算法与调度分离的思想，然后通过自动搜索找出使性能最优的schedule。经过tuning后其性能一些时候甚至可以超过芯片厂商的推理引擎（毕竟厂商的推理引擎没法给每个模型量身定制）。
• Operator fusion：这是一种最为常用的graph-level的优化。它将多个算子融合成一个，从而减少运行时间。无论是像Conv-BN-ReLU这样的纵向融合，还是Inception module这种多分支结构的横向融合，其实本质上都没有减少计算量，但现实中往往能给性能带来比较明显的提升。主要原因之一是它避免了中间数据的传输开销。

在过去的几年里，服务器市场基本是Nvidia GPU的天下。尽管近几年它也受到了来自TPU等各方面的压力，但总体来说，对于服务器端异构多元化程度没那么大。而与之不同的是，在移动端，不仅硬件种类多，而且同一类硬件差异也大。CPU有ARM和x86的，GPU有Adreno、Mali、Vivante等（虽说有像OpenCL这样的接口标准，但和CUDA不同，毕竟是多厂商各有各的实现，良莠不齐。而且很多厂商还会有私有扩展）。各类芯片如CPU、GPU、FPGA、DSP、ASIC不仅能力各异，算力也有数量级的差异，能效甚至有几个数量级之差。当然，理想情况下，如果ASIC一统江湖，在性能、成本、算子支持等方面都完爆、吊打和摩擦其它芯片，那事情倒简单一些。但这毕竟还需要些时间。因此，当前如何在AI时代充分挖掘和利用这些异构硬件的计算能力就成了一个很有趣的问题。