无约束优化和神经网络type
status
date
slug
summary
tags
category
icon
password
Property
神经网络的核心是是神经元之间的连接权重，确定权重的过程称为训练或学习。
神经网络训练方法为反向传播算法，该算法基于无约束的优化问题，并利用梯度算法进行求解。
每个神经元表示一个映射，通常是多输入单输出。神经元的输出是输入之和的函数，该函数通常称为激活函数。某个神经元的输出可以用作多个其他神经元的输入。
神经网络包括多个相互连接的神经元，各神经元的输入为其他神经元的输出的加权。在前馈神经网络中，神经元按照不同的层次进行连接。每个神经元只接受来自上一层次神经元的输出，是上一层次神经元输出的加权。
网络的第一层称为输入层，最后一层称为输出层，输入层和输出层之间为中间层（隐藏层）。
给定一个映射 ，可以采用特定结构的神经网络实现。
确定数据对 ，其中， 为映射的输出，对应输入为 ，即 ，以数据对 作为训练集对神经网络进行训练。利用训练算法，以网络实际输出和制定输出之间的误差，即 和神经网络在输入 下的输出之间的差值为依据，对连接权重进行调整。
神经网络训练问题可归纳为优化问题。
单个神经元
神经元可以由如下函数给出：
其中， 表示输入向量， 为输出，为权重向量， 为任意可微激活函数。
给定映射 ，希望通过训练，使得该神经元能够尽可能地逼近
反向传播算法
设神经网络共有 个输入 ； 个输出 。中间层包括 个神经元，中间层神经元的输出为 。中间层神经元的激活函数为 ，输出层神经元的激活函数为 。
表示中间层输入对应的权重，表示输出层输入对应的权重。
令 表示中间层第 个神经元的输入，有 。
令 表示中间层第 个神经元的输出，有 。
输出层第 个神经元的输出为
输入 和第 个输出 之间的关系为
假定训练数据对 ， ， 。神经网络的训练指的是调整网络的连接权重，使得在给定的输入 下，输出能够尽可能地接近于 。
可以得到如下优化问题：
其中， 表示神经网络在输入 下的实际输出：
决策变量为所有权重，即 。
决策变量向量形式为
目标函数
可利用固定步长梯度法来求解。需要计算目标函数 关于 中每个元素的偏导数。
计算函数 关于 的偏导数。固定 、 、 ，将函数 改写为
对于 ，有
利用链式法则，可得
其中， 表示函数的导数。
为简化描述，定义
是输出误差（神经网络的实际输出 与要求输出 之间的差值）进行缩放的结果，缩放因子为 \
利用 的表达式，可得
计算函数 关于 的偏导数。固定 、 、 ，将函数 改写为
利用链式法则，可得
其中， 表示函数 的导数。
利用 ￥$\delta_s$￥的表达式，可得
权重 和 的迭代更新公式：
其中，
表示为固定步长