《深度学习的数学》深度学习数学笔记

1. 链式求导法则 2. 矩阵或线性代数是求解方程组的数学工具。然而，最优化是求解参数约束条件最小值的数学工具，尤其是凸优化。 3. 拉格朗日乘数法是最优化中常用的工具，本质上是将目标函数转化为参数的导数，并在导数为零时获得最优解。 4. 然而，神经网络的直接解析表达式难以获得，无法通过解析方式直接求解。因此，需要使用梯度下降法来解决问题。梯度下降法的根本出发点是通过迭代的方式改变参数，使得每次改变后的目标函数更接近最优点。 5. 但是，这种迭代不能随意进行。在偏移半径固定的情况下，目标函数的偏移向量等于梯度向量和分量偏移向量的内积。然而，只有梯度向量和分量偏移向量方向相反时，内积最小，从而使目标函数的偏移向量长度最短。这迫使参数偏移朝着最优点移动。 6. 直接计算目标函数关于参数的梯度仍然不能直接进行。因此，推导出在神经网络的每一层，梯度等于目标函数关于该层输出向量的梯度乘该层激活函数关于输入向量的梯度。后者可以在一层内直接计算，前者的值等于下一层对应值使用参数加权平均值后再乘上当前层激活函数关于输入向量的导数。这就产生了递推公式。 7. 神经网络的基本形态是全连接层。 8. 多个全连接层可以构成深度神经网络。 9. 卷积层和池化层是在有多层全连接神经网络的基础上对全连接结构进行的变化，同时具备相应的几何意义。在理论上，卷积和池化可以看做是对神经网络结构的“激活”函数，就像通常的激活函数是对单个输出值的改变一样。