神经网络中最基本的单元是神经元模型（neuron）。细胞体分为两部分，前一部分计算总输入值（即输入信号的加权和，或者说累积电平），后一部分先计算总输入值与该神经元阈值的差值，然后通过激活函数（activation function）的处理，产生输出从轴突传送给其它神经元。M-P神经元模型如下图所示：
激活函数
与线性分类十分相似，神经元模型最理想的激活函数也是阶跃函数，即将神经元输入值与阈值的差值映射为输出值1或0，若差值大于零输出1，对应兴奋；若差值小于零则输出0，对应抑制。但阶跃函数不连续，不光滑，故在M-P神经元模型中，也采用Sigmoid函数来近似， Sigmoid函数将较大范围内变化的输入值挤压到 (0,1) 输出值范围内，所以也称为挤压函数（squashing function）。
更多激活函数参考：https://www.jianshu.com/p/22d9720dbf1a
神经网络模型
所谓神经网络就是将许多个单一“神经元”联结在一起，这样，一个“神经元”的输出就可以是另一个“神经元”的输入。例如，下图就是一个简单的神经网络：
我们使用蓝色圆圈来表示神经网络的输入，标上+1 的圆圈被称为偏置节点，也就是截距项。神经网络最左边的一层叫做输入层，最右的一层叫做输出层（本例中，输出层只有一个节点）。中间所有节点组成的一层叫做隐藏层，因为我们不能在训练样本集中观测到它们的值。同时可以看到，以上神经网络的例子中有3个输入单元（偏置单元不计在内），3个隐藏单元及一个输出单元。
对于给定参数集合 W,b，Wij表示前后层节点之间权重，b表示偏置，我们的神经网络就可以按照函数来计算输出结果。本例神经网络的计算步骤如下：
将参数矩阵化，使用矩阵－向量运算方式，我们就可以利用线性代数的优势对神经网络进行快速求解。那么给定第 L 层的激活值后，第L+1 层的激活值就可以按照下面步骤计算得到：
来源：
https://www.cnblogs.com/NeilZhang/p/9347233.html
https://blog.csdn.net/tyhj_sf/article/details/54134210 人工神经网络基本原理