一文搞懂 AOTAutograd 原理

This site does not allow itself to be embedded. You can still read it on the original site — the toolbar below keeps your place in the directory.

简介 Link to heading 在 PyTorch 2.0 以前，用户通过 PyTorch 可以直接捕获到正向传播的计算图，比如 JIT trace 和 TorchFX 的 symbolic trace。虽然 PyTorch 的每个算子都包含正向传播和反向传播的实现，但用户并不能直接在反向传播的计算图上面做优化，也无法把正向传播和反向传播的计算图合并在一张计算图中。PyTorch 2.0 中引入了 AOTAutograd，它的出现解决了这个问题，从而使得一些针对 training 的优化变得可能。

Read on fkong.tech ↗