并行计算是高性能计算 (HPC) 下的一个细分领域,它是相对于串行计算来说的,一种通过同时在多个处理器或计算机上执行多个任务,以提高计算效率的计算模式。针对不同的问题,并行计算需要专用的并行架构,架构既可以是专门设计的,含有多个处理器的单一硬件或超级计算机,也可以是以某种方式互连的若干台的独立计算机构成的集群。并没有一个统一的并行计算架构适用于每一个问题,如果使用了错误的架构,并行计算甚至会导致性能下降。
并行计算通用示例: