关于 Mesos，你知道多少？

一般来说。mimd并行系统主要分为两种，多计算机和多处理器，集群系统属于多计算机，片上多核属于多处理器（共享内存的）。而mpi是在多计算机间进行消息传递的编程接口（mpi,message passing interface）标准，其是通过消息传递来进行数据传输、同步等一系列并行 *** 作的，而在本机上结合c或fortran运行，所以其更加适合在多台机器之间的并行计算，每台机器上开启一个进程，当然你也可以在一台多核机器上跑好几个mpi进程（比如4核跑4个），这样其也能通过编程抽象成多计算机编程，不过还是通过消息传递，所以效率相对比较低。多核（多处理器）最好的并行编程模型还是openMP，其是通过对内存中的共享变量进行 *** 作来完成数据传输、同步等 *** 作的，效率相对较高。
跑mpi程序最好在linux下，windows下限制较多（防火墙等，且效率低），linux下现在比较流行openmpi。
希望对你有所帮助。

OpenMP和MPI是并行编程的两个手段，对比如下：

OpenMP:线程级（并行粒度）；共享存储；隐式（数据分配方式）；可扩展性差。

MPI：进程级；分布式存储；显式；可扩展性好。OpenMP采用共享存储，意味着它只适应于SMP,DSM机器，不适合于集群。MPI虽适合于各种机器，但它的编程模型复杂。

需要分析及划分应用程序问题，并将问题映射到分布式进程集合。需要解决通信延迟大和负载不平衡两个主要问题。

延伸论述：

我认为，要理解OpenMP和MPI，首先要有一些 *** 作系统知识和系统编程基础——OpenMP对应的实际上是单进程多线程的并发编程模型，可以将一个单线程的程序按for循环拆分成多线程——相当于pthread_create。

对于同一个进程的多个线程来说，由于它们只是独占自己的栈内存，堆内存是共享的，因此数据交换十分地容易，直接通过共享变量就可以进行交换，编程模型非常简单易用，并且对于 *** 作系统来说，线程的上下文切换成本也比进程低很多。

然而另一方面，由于线程不能脱离进程独立存在，而一个进程不能存在于多台机器上，所以OpenMP只适用于拥有多个CPU核心的单台电脑。并且多线程编程存在临界区（Critical Section），需要你自己去加锁，解决Race Condition问题，否则的话很容易导致不可预知的后果。

而MPI则是多进程的并发编程模型，相当于你自己调用fork——每一个进程的内存地址空间都是独立的，它们彼此之间几乎什么都不共享，只能通过进程间通信（IPC）来交换彼此的数据，因此编程难度明显要大很多。

MPI有一个非常显著的优点，那就是对于一个分布式系统来说，进程是可以在分布式系统的每一台电脑之间转移的，因此对于拥有多台电脑的分布式系统来说，其并发性要明显好于OpenMP。

---