命令式和符号式编程
命令式:编程方便,直观理解,调试容易,运行慢,受限多。
符号式:不依赖特定运行环境,高效运行。
混合式:取两者之长。
异步计算
默认情况,Pytorch的GPU操作是异步的。当调用一个使用GPU函数,会排队而非立即运算,允许我们并行更多运算,包括在CPU和GPU。
???
自动并行运算
synchronize v.使同步
Pytorch支持多GPU的并行运算。
多GPU计算
单主机多GPU计算,非分布式计算。
如何看显存、利用率???
Pytorch可以调用多个特定的GPU进行模型训练。
保存多GPU训练的模型注意仅保存核心层。