type
status
date
slug
summary
tags
category
icon
password
Property
计算机是高度并行的系统，由多个CPU核、多个GPU、多个处理单元组成。通常每个CPU核有多个线程，每个设备通常有多个GPU，每个GPU有多个处理单元。总之，可以同时处理许多不同的事情，并且通常是在不同的设备上。
不幸的是，Python并不善于编写并行和异步代码，至少在没有额外帮助的情况下不是好选择。归根结底，Python是单线程的，将来也是不太可能改变的。因此在诸多的深度学习框架中，MXNet和TensorFlow之类则采用了一种异步编程（asynchronous programming）模型来提高性能，而PyTorch则使用了Python自己的调度器来实现不同的性能权衡。
对于PyTorch来说，GPU操作在默认情况下是异步的。调用一个使用GPU的函数时，操作会排队到特定的设备上，但不一定要等到以后才执行。这允许并行执行更多的计算，包括在CPU或其他GPU上的操作。因此，了解异步编程如何工作，主动地减少计算需求和相互依赖，有助于开发更高效的程序，能够减少内存开销并提高处理器利用率。
通过后端异步处理
生成一个随机矩阵并将其相乘，在NumPy和PyTorch张量中都这样做，看看它们的区别：
NumPy点积是在CPU上执行的，PyTorch矩阵乘法是在GPU上执行的，后者的速度要快得多。
巨大的时间差距表明一定还有其他原因。默认情况下，GPU操作在PyTorch中是异步的。强制PyTorch在返回之前完成所有计算，这种强制说明了之前发生的情况：计算是由后端执行，而前端将控制权返回给了Python。
广义上说，PyTorch有一个用于与用户直接交互的前端（例如通过Python），还有一个由系统用来执行计算的后端。用户可以用各种前端语言编写PyTorch程序，如Python和C++。不管使用的前端编程语言是什么，PyTorch程序的执行主要发生在C++实现的后端，由前端语言发出的操作被传递到后端执行。后端管理自己的线程，这些线程不断收集和执行排队的任务。注意，要使其工作，后端必须能够跟踪计算图中各个步骤之间的依赖关系。因此，不可能并行化相互依赖的操作。
看另一个简单例子
每当Python前端线程执行前三条语句中的一条语句时，它只是将任务返回到后端队列。当最后一个语句的结果需要被打印出来时，Python前端线程将等待C++后端线程完成变量
z的结果计算。这种设计的一个好处是Python前端线程不需要执行实际的计算。因此，不管Python的性能如何，对程序的整体性能几乎没有影响。下图演示了前端和后端如何交互。
