ResNet怎么解决梯度问题

ResNet通过引入残差连接（也叫跳跃连接）来解决梯度问题。

简单来说，传统深层网络在反向传播时，梯度经过多层相乘会变得非常小（梯度消失）或非常大（梯度爆炸），导致浅层网络无法有效学习。ResNet的做法是：在每一层（或几层）的输入和输出之间，加一条“捷径”，让输入可以直接跳过这些层，加到输出上。

这样，梯度在反向传播时，可以顺着这条捷径直接流回浅层，避免被层层“稀释”或“放大”。即使后续的层学习效果不好，模型至少可以退化成恒等映射，即输出等于输入，不会让效果变差。这相当于给梯度开了一条“高速通道”，让深层网络也能稳定训练。

所以，ResNet不是消除梯度问题，而是用跳跃连接让梯度有路可走。