Time：2025-01-15 22:16
Status: #idea
Tags:
07 自动求导
- 自动求导
- 计算图
- 代码分解成操作子
- 将计算表示成无环图
- 两种模式
- 正向传播
- 反向传播
- 两种模式的区别
- 反向传播采用的是动态规划的思想，它会保留上一层的结果和上一层的梯度的值，这样以后就可以不用重新计算；前向传播没法复用，因为它的每一次嵌套计算的不是梯度值，所以每次都需要重头计算
- 正向传播
- 注意点
- 非标量变量的反向传播：如果y需要指定是一个标量但是由于x是向量所以y会不小心变成了一个二维向量，因此需要特别指定y.sum(),否则y就变成一个矩阵了会导致错误
- 计算图