计算机中的处理器: CPU、TPU和GPU有什么区别？一文让你全明白

CPU的优势是灵活性，可以支持几百万种不同的应用和软件。但是CPU的缺点是计算速度慢。因为它只有少量的运算单元（ALU），每次只能执行一次乘法或加法运算，并且需要频繁地访问内存来读取和保存中间结果。这就造成了冯诺依曼瓶颈。

GPU的优势是并行性，它在单个处理器中集成了上千个运算单元（ALU）。可以同时执行数千次乘法或加法运算。这使得GPU在有大量并行化的应用中工作得很好，例如神经网络中的矩阵乘法。但是，GPU的缺点是仍然需要访问内存来读取和保存中间结果，这会耗费更多的能量，并且增加了物理空间的占用。

TPU的优势是效率，它专门设计了数千个乘法器和加法器直连的大型物理矩阵（脉动阵列）。可以直接执行神经网络所需的大规模的加乘运算。在整个计算过程中，不需要访问内存，这就避免了冯诺依曼瓶颈，并且节省了功耗和成本14。但是，TPU的缺点是通用性低，它不能运行其他类型的应用或软件。

CPU、GPU和TPU在灵活性（通用性）上由高到低、而计算效率由低到高。