type
status
date
slug
summary
tags
category
icon
password
Property
原理
从线性回归到深度网络
将线性回归模型描述为一个神经网络，线性回归是一个单层神经网络
输入为，因此输入层中的输入数（特征维度）为。网络的输出为，因此输出层中的输出数是1。由于模型重点在发生计算的地方，所以通常在计算层数时不考虑输入层，也就是说图中神经网络的层数为1。
对于线性回归，每个输入都与每个输出相连，这种变换称为全连接层(fully-connected layer)或称为稠密层(dense layer)。
生物学
线性回归发明的时间（1795年）早于计算神经科学，所以将线性回归描述为神经网络似乎不合适。 当控制学家、神经生物学家沃伦·麦库洛奇和沃尔特·皮茨开始开发人工神经元模型时， 他们为什么将线性模型作为一个起点呢？
这是一张由树突（dendrites，输入终端）、 细胞核（nucleu，CPU）组成的生物神经元图片。 轴突（axon，输出线）和轴突端子（axon terminal，输出端子）通过突触（synapse）与其他神经元连接。
树突中接收到来自其他神经元（或视网膜等环境传感器）的信息。该信息通过突触权重 来加权，以确定输入的影响（即通过相乘来激活或抑制）。 来自多个源的加权输入以加权和的形式汇聚在细胞核中， 然后将这些信息发送到轴突中进一步处理，通常会通过进行一些非线性处理。 之后，它要么到达目的地（例如肌肉），要么通过树突进入另一个神经元。
当然，许多这样的单元可以通过正确连接和正确的学习算法拼凑在一起， 从而产生的行为会比单独一个神经元所产生的行为更有趣、更复杂， 这种想法归功于我们对真实生物神经系统的研究。
线性回归的从零开始实现
线性回归的简洁实现
全连接层
对传入数据应用线性变换：
参数：
in_features: 每个输入样本的大小
out_features:每个输出样本的大小
bias:如果设置为False，则图层不会学习附加偏差。默认值：True
