感知器
传感器的结构是以一个向量为输入，计算输入每个维度的线性组合，然后与阈值进行比较，高于阈值输出1，否则输出-1 
也就是说，加权求和，然后与b进行比较。 感知器和神经元的相似之处在于，第一，多输入到一个结点，第二神经元总是输入电位超过阈值电位，释放输出，感知器0阈值对应于1和-1的不同输出，功能非常不同，结构本质上可以解决多维空间中的线性分类问题。 感知机中有两个最基本的成分，计算输入向量的线性变换，判断线性组合的结果，实际上是非线性变换，或者直接将阈值和线性变换放在一起。 激活函数有很多种，比如sgn连续光滑的函数tanh函数，logistic函数， 也可以是ReLU函数。 其实感知机就是其中之一 乘积到累计运算到判断大小的过程。
神经网络基础
最经典的两层结构是，最原始的输入层连接到三个不同的感知器，三个感知器有三个输出，然后连接到一个感知器，最终输出y,输入后一层加隐藏层，然后输出层，具有以下特点：
1.：如果输入也被视为一层，那么每层都有一定数量的输出作为下一层的输入，神经网络可以被视为逐步交换一个向量，每层的输入向量在这个传感器转换之前变成一个新的向量
2.：也就是说，每层的输出与下一层的所有传感器输入相连
综上所述，从分类边界的角度来看，神经元数对应于拼接分类边界的线段数。神经元越多，拼接的边界就越复杂。从维度的角度来看，神经元数对应于非线性变换后空间的维度。一般来说，维度越高，变换后的样本越容易线性分离。
因此，在定性方面，随着感知单元数量的增加，神经网络的分类和拟合能力越来越强，本质上来自两个方面：是非线性变换的功能是扭曲空间，样本可以线性划分，或者在变换后的空间中很容易线性组合获得目标值 是维度，维度的增加大大提高了样本的线性分离程度SVM失很像的。
2.1.神经网络参数梯度 f(x)=wx b,代表仿射变换，g表示激活函数，下标表示层数，并且如果这里x表示的是向量的话，w是个矩阵，b这是一个向量。一般的机器学习问题可以通过损失函数L转换为优化问题，以损失函数为目标，以数据为给定输入，以参数为可变量进行优化。 2.2 计算图 计算图是自动求导方法本概念，主要用于表达输入输出和中间变量之间的计算关系。 在计算图中，计算关系可以定义粒度，但实际上变量是一样的。变量可以是向量、矩阵或高维张量。在灵活定义变量和计算关系的前提下，神经网络在计算图中的表示要容易得多。
随机梯度和批量梯度的下降
1.全数据梯度下降 这是最直接的方法。每次计算梯度时，都会考虑所有的培训数据。具体来说，假设有N个样本，在计算损失函数时，要求多个N个样本的损失函数值和平均值： 这种方法简单直接，最好将数据分布的信息带入梯度计算，方便计算，但在大数据时代不现实。 2.随机梯度下降（SGD）小批量数据（mini_batch） 他每次从训练样本中随机抽取一个样本来计算损失函数，并以相应计算的梯度作为当前梯度的基础。虽然SGD计算效率有很大的优势，但以上是理想情况，根据描述SGD另一个特点是随机性机性，数据是从全量采样的，所以还是包含数据分数的信息，可以知道SGD梯度下降过程中的随机性很大。 3.数据平衡和数据增加 我们希望训练数据总体上是平衡的，所以训练前必要的步骤是平衡数据，增加数据。
数据、训练策略和标准化
当衡量机器学习算法是否良好时，最直接的方法是根据预测和测量数据的误差来衡量算法。对于训练数据，损失函数是衡量这种误差的方法。在训练神经网络时，损失函数降低到一个非常小的值。 1.欠拟合和过拟合 这种分布是数据分布，训练数据和测试数据来自同一分布，是机器学习的基本假设，一般来说，如果不拟合解决方案是通过增加模型复杂性来提高拟合能力，对于神经网络，增加层数或神经元数量，过拟合不那么容易解决，需要在模型复杂性和训练精度之间找到平衡，而欠拟合的解决办法就是增加模型的复杂度以达到更强的学习能力。 2.训练误差和测试误差 一部分是训练数据，用来让模型做后向传播学习参数，模型在训练数据上的。