2015 年 11 月，wikipedia的用户 Laughinthestocks 首次引入了“激活函数表”。从那时起，维基百科全书页面就发生了 391 次更改。在这篇文章中，我通过自己的程序挖掘了截止日期 2022 年 4 月 22 日时维基百科页面历史上每一个激活函数。本文还为激活函数的适当研究论文提供了额外的链接，如果没有或找不到特定的研究论文。
例如，人们通常会这样做 tanh 用于 FNN，将 ReLU 用于 CNN。
假如我们包括 Identity Activation 该列表将包含函数 42 这里肯定没见过激活函数。
Binary step
公式
导数
Logistic, sigmoid, or soft step
公式：
导数
还有双极 sigmoid(1.f-expf(-x)) / (1.f expf(-x))
ElliotSig 或 Softsign
公式：
导数
双曲正切 (tanh)
公式
导数
Arctangent / Arctan / atan
公式
导数
Softplus
公式
导数
Rectified linear unit (ReLU) (ReLU6)
公式
导数
Exponential linear unit (ELU)
公式
导数
Gaussian Error Linear Unit (GELU)
公式
导数
Scaled exponential linear unit (SELU)
公式
导数
Mish
公式
导数
Leaky rectified linear unit (Leaky ReLU)
公式
导数
Parametric rectified linear unit (PReLU)
公式
导数
Parametric Exponential Linear Unit (PELU)
公式
导数
S-shaped rectified linear activation unit (SReLU)
公式
导数
Bipolar rectified linear unit (BReLU)
公式
导数
Randomized leaky rectified linear unit (RReLU)
Sigmoid linear unit (SiLU) or Swish
Gaussian
Growing Cosine Unit (GCU)
Shifted Quadratic Unit (SQU)
Non-Monotonic Cubic Unit (NCU)
Shifted Sinc Unit (SSU)
参考论文未提供导数公式：https://arxiv.org/pdf/2111.04020.pdf。
Decaying Sine Unit (DSU)
未提供导数公式，请参考论文：https://arxiv.org/pdf/2111.04020.pdf
Phish
未提供导数公式，请参考论文：https://www.techrxiv.org/ndownloader/files/33227273/2
SQ-RBF
Inverse square root unit (ISRU)
Square nonlinearity (SQNL)
Sigmoid shrinkage
“Squashing functions”
Maxout
函数导数为正负 无限
Bent Identity
Sinusoid
Sinc (taming the waves)
ArSinH
Soft Clipping (goldilocks)
Piecewise Linear Unit (PLU)
Adaptive piecewise linear (APL)
Inverse Cubic
Soft Exponential
LeCun hyperbolic tangent (42?)
来自https://drive.google.com/viewerng/viewer?url=http://yann.lecun.com/exdb/publis/pdf/lecun-98b.pdf
激活函数的wikipedia页面：
https://en.wikipedia.org/wiki/Activation_function
最后说明，图太多了，如有遗漏或者错误，请留言
作者：Fletch
https://www.overfit.cn/post/18eb8aef0eb740c2a6c49bc43b833d1f