Time:2025-01-15 22:16
Status: #idea
Tags:
07 自动求导
- 自动求导
- 计算图
- 代码分解成操作子
- 将计算表示成无环图
- 两种模式
- 正向传播

- 反向传播


- 两种模式的区别
- 反向传播采用的是动态规划的思想,它会保留上一层的结果和上一层的梯度的值,这样以后就可以不用重新计算;前向传播没法复用,因为它的每一次嵌套计算的不是梯度值,所以每次都需要重头计算
- 正向传播
- 注意点

- 非标量变量的反向传播:如果y需要指定是一个标量但是由于x是向量所以y会不小心变成了一个二维向量,因此需要特别指定y.sum(),否则y就变成一个矩阵了会导致错误
- 计算图