技术
进程控制 对称模式（SPMD）并行计算中每个处理机上执行的是相同的程序，对于每个进程来说，需要知道自己是属于哪个进程，从而来确定该进程需要完成的任务。进程控制是并行程序的重要组成部分，所有的数据处理和交换过程都离不开进程标识，是在实现过程中必须时刻要牢记的。
数据交换 在SPMD模式中，数据交换是其主要特征。进程之间的协同工作、信息沟通等都离不开数据交换。如何合理地实现数据交换，是提高并行计算程序性能的关键之一。对于一个给定的并行计算方法，为了高效率的实现，需要仔细分析数据依赖关系，尽可能减少不必要的数据交换，同时也要尽最大努力使数据交换在最少的次数内完成。
面向对象化 建立自己的通讯库，使程序具有更加直观的可读性。比如说，在处理机中要进行矩阵传输，那就需要定制一个子程序来完成这项任务。
并行计算体系结构
目前，主要的并行计算体系结构主要有以下四种：
1.对称多处理（SMP）。它由处理单元、高速缓存、总线或交叉开关、共享内存以及I/O等组成。
2.分布式共享存储多处理（DSM）。它较好地改善了SMP的可扩展能力，是目前高性能计算机的主流发展方向之一。
3.大规模并行处理（MPP）。它是并行计算机发展过程中的主力，现在已经发展到由上万个处理机构成一个系统。
4.集群（Cluster）。Linux平台的集群系统己成为最流行的高性能计算平台，在高性能计算机中占有越来越大的比重，系统规模可从单机、少数几台联网的微机直到包括上千个结点的大规模并行系统，既可作为廉价的并行程序调试环境，也可设计成真正的高性能计算机。
刀片：并行架构发展新趋势
最近几年，刀片服务器得到快速发展。刀片服务器是指在标准高度的机架式机箱内可插装多个卡式的服务器单元，实现高可用和高密度。每块“刀片”实际上就是一块系统主板。它们可以通过板载硬盘启动自己的操作系统，类似于一个个独立的服务器。
在这种状态下，每块母板运行自己的系统，服务于指定的不同用户群，相互之间没有关联。不过，管理员可以使用系统软件将这些母板集合成一个服务器集群。集群里所有的母板都可以连接起来提供高速的网络环境，并同时共享资源，为相同的用户群服务。在集群中插入新的“刀片”，就可以提高整体性能。而由于每块“刀片”都是热插拔的，所以，系统可以轻松地进行替换，并且将维护时间减少到最小。
刀片服务器不仅在设计上具有低功耗、空间小、单机售价低等特点，同时它还继承发扬了传统服务器的一些功能，比如热插拔和冗余电源等，满足了密集计算环境对服务器性能的需求。此外，有些产品还可以通过内置的负载均衡技术，有效地提高服务器的稳定性和核心网络性能。
不足与思考
现在，拥有每秒百亿次或者千亿次的并行计算机，对一般的科研院校、研究所和工程应用单位已经不再是一种奢望。
