type
status
date
slug
summary
tags
category
icon
password
Property
从感知机到神经网络
感知机模型是一个有若干输入和一个输出的模型，如下图:
输出和输入之间学习到一个线性关系，得到中间输出结果：
接着是一个神经元激活函数:
从而得到想要的输出结果1或者-1
这个模型只能用于二元分类，且无法学习比较复杂的非线性模型，因此在工业界无法使用。
而神经网络则在感知机的模型上做了扩展，总结下主要有三点：
- 加入了隐藏层，隐藏层可以有多层，增强模型的表达能力，当然增加了这么多隐藏层模型的复杂度也增加了好多
- 输出层的神经元也可以不止一个输出，可以有多个输出，这样模型可以灵活的应用于分类回归，以及其他的机器学习领域比如降维和聚类等。多个神经元输出的输出层对应的一个实例如下图，输出层现在有4个神经元了。
- 对激活函数做扩展，感知机的激活函数是 ，虽然简单但是处理能力有限，因此神经网络中一般使用的其他的激活函数，比如在逻辑回归里面使用过的Sigmoid函数，即：
还有后来出现的 和等。通过使用不同的激活函数，神经网络的表达能力进一步增强。
DNN的基本结构
神经网络是基于感知机的扩展，DNN可以理解为有很多隐藏层的神经网络。多层神经网络和深度神经网络DNN其实也是指的一个东西，当然DNN有时也叫做多层感知机（Multi-Layer perceptron,MLP）
从DNN按不同层的位置划分，DNN内部的神经网络层可以分为三类，输入层，隐藏层和输出层。如下图，一般来说第一层是输入层，最后一层是输出层，而中间的层数都是隐藏层。
层与层之间是全连接的，第层的任意一个神经元一定与第层的任意一个神经元相连。虽然DNN看起来很复杂，但是从小的局部模型来说，还是和感知机一样，即一个线性关系 加上一个激活函数
由于DNN层数多，线性关系系数和偏倚的数量也就是很多了。具体的参数在DNN是如何定义的呢？
线性关系系数的定义:
以下图一个三层的DNN为例，第二层的第4个神经元到第三层的第2个神经元的线性系数定义为 。上标3代表线性系数所在的层数，而下标对应的是输出的第三层索引2和输入的第二层索引4。为什么不是 , 而是 呢？这主要是为了便于模型用于矩阵表示运算，如果是 而每次进行矩阵运算是 ，需要进行转置。将输出的索引放在前面的话，则线性运算不用转置，即直接为 。总结下，第 层的第个神经元到第 层的第 个神经元的线性系数定义为 。注意，输入层是没有参数的。
偏倚的定义:
还是以这个三层的DNN为例，第二层的第三个神经元对应的偏倚定义为 。其中，上标2代表所在的层数，下标3代表偏倚所在的神经元的索引。同理，第三个的第一个神经元的偏倚应该表示为 。同样的，输入层是没有偏倚参数的。
DNN前向传播算法数学原理
假设激活函数是 ，隐藏层和输出层的输出值为 ，则对于下图的三层DNN,利用和感知机一样的思路，可以利用上一层的输出计算下一层的输出，也就是所谓的DNN前向传播算法。
对于第二层的的输出 ，有：
对于第三层的的输出，有：
将上面的例子一般化，假设第 层共有 个神经元，则对于第 层的第 个神经元的输出 ，有：
其中，如果 ,则对于的 即为输入层的
从上面可以看出，使用代数法一个个的表示输出比较复杂，而如果使用矩阵法则比较的简洁。假设第 层共有 个神经元，而第 层共有 个神经元，则第 层的线性系数 组成了一个 的矩阵 , 第 层的偏倚 组成了一个 的向量 , 第 层的的输出 组成了一个 的向量 ，第 层的的未激活前线性输出 组成了一个 的向量 , 第 层的的输出 组成了一个 的向量 。则用矩阵法表示，第 层的输出为：
这个表示方法简洁漂亮
DNN前向传播算法
所谓的DNN的前向传播算法也就是利用若干个权重系数矩阵 ，偏倚向量 来和输入值向量 进行一系列线性运算和激活运算，从输入层开始，一层层的向后计算，一直到运算到输出层，得到输出结果为值。
输入: 总层数L，所有隐藏层和输出层对应的矩阵 ，偏倚向量 ，输入值向量
输出：输出层的输出
1）初始化
2) for to , 计算：
最后的结果即为输出