type
status
date
slug
summary
tags
category
icon
password
Property
ResNet极大地改变了如何参数化深层网络中函数的观点。 稠密连接网络（DenseNet）在某种程度上是ResNet的逻辑扩展
从ResNet到DenseNet
任意函数的泰勒展开式把这个函数分解成越来越高阶的项。在接近0时，
同样，ResNet将函数展开为
也就是说，ResNet将分解为两部分：一个简单的线性项和一个复杂的非线性项。 那么再向前拓展一步，如果想将拓展成超过两部分的信息呢？ 一种方案便是DenseNet。
ResNet和DenseNet的关键区别在于，DenseNet输出是连接（用图中的[,]表示）而不是如ResNet的简单相加。 因此，在应用越来越复杂的函数序列后，我们执行从 到其展开式的映射：
最后，将这些展开式结合到多层感知机中，再次减少特征的数量。 实现起来非常简单：不需要添加术语，而是将它们连接起来。 DenseNet这个名字由变量之间的“稠密连接”而得来，最后一层与之前的所有层紧密相连:
稠密网络主要由2部分构成：稠密块（dense block）和过渡层（transition layer）。 前者定义如何连接输入和输出，而后者则控制通道数量，使其不会太复杂。