并行与并发
多台处理器和一台处理器的多个核是不一样的。
多个单核CPU，那么每一个CPU都需要有较为独立的电路支持，有自己的Cache，而他们之间通过板上的总线进行通信。假如在这样的架构上，我们要跑一个多线程的程序（常见典型情况），不考虑超线程，那么每一个线程就要跑在一个独立的CPU上，线程间的所有协作都要走总线，而共享的数据更是有可能要在好几个Cache里同时存在。这样的话，总线开销相比较而言是很大的，怎么办？那么多Cache，即使我们不心疼存储能力的浪费，一致性怎么保证？如果真正做出来，还要在主板上占多块地盘，给布局布线带来更大的挑战，怎么搞定？
如果我们选择多核单CPU，那么我们只需要一套芯片组，一套存储，多核之间通过芯片内部总线进行通信，共享使用内存。在这样的架构上，如果我们跑一个多线程的程序，那么线程间通信将比上一种情形更快。如果最终实现出来，对板上空间的占用较小，布局布线的压力也较小。
这就像为什么你要去公司上班而不是在家里上班一样。去公司上班（多核CPU）的话，资源共享（共享缓存），沟通方便（CPU内数据传输速度远大于总线速度）。
除非信息技术（类比总线）上有突破性进展，否则我们还是每天要挤公车去公司上班（多CPU方案无法取代多核）。
多核可以通过软件封装让普通用户看成一个处理器（最开始就是单核cpu，即一个处理器一个核心，这是很自然的人类设计），这样原来在单机上跑的程序设计基本不用更改就能获得不错的性能，最初的目的是提升普通PC计算能力的同时不增加原有程序的复杂性。但是在研究领域这是一个很好地研究方向，未来可能前景不错。
多个CPU则由于排名第一说的那些总线带宽等原因，最终形成分布式系统（当然，其实多核从内部看也是分布式结构的，但从外部看就可以简单认为是单个处理器了），从而必然面临的数据一致性，以及一些主从关系控制，可靠性保障之类的问题，一般人搞不来这种程序，因为调试，运行，故障等等问题太多。
举一个形象的例子。
形象的任务目标： 你需要搬很多砖，你现在有一百支手。
实际的任务目标： 你有一个很大的计算任务，你有很多cpu。
实现方式： 你可以全把100支手安在一个人身上（多核），亦可以安在100个人身上，每个人1个手(多个单核CPU)。
分析：
多核实现，（即100支手安在一个人身上）:
这个人再笨，再不会用 ，干活速度也比只有1个手的人快不少。但快的有限。
即使人有一百只手，可一次搬的板砖太多了，脊椎估计顶不住，他在某些地方存在瓶颈（比如I/O），可能脑子控制不过来（内部的协调逻辑，调度策略复杂）。
但是科学家很喜欢这种东西，你有瓶颈，我就可以研究啊，可以想办法提高啊，优化啊，什么的。
完全的分布式实现，（即100只手安在100个人身上）：
人多力量大，100个人协调好了，必然效率非常高，Google，阿里巴巴，等等大公司都喜欢这种东西。价格便宜量又足（对比另一个）。
但是，协调不好，各种问题就来了。
- 可能俩人抢着搬一块砖（数据一致性）
- 可能一个人搬着砖走了一半不走了（单点故障），最要命的是别人都没看见他不走了！那块砖最后搞不好就丢了！
- 可能因为任务没分配好（任务调度），几个人累死，几个人傻看着
- 到了饭点和发工资的日子，人们可能会发生争抢。（稀缺资源的分配，如I/O）
- 拜占庭问题，时钟不同步问题等等，一大堆了。 都是多少年的老问题。
最后用一句我最喜欢的话结束:
There is no magic in computer science.
解释一：并行是指两个或者多个事件在同一时刻发生；而并发是指两个或多个事件在同一时间间隔发生。
解释二：并行是在不同实体上的多个事件，并发是在同一实体上的多个事件。
解释三：并行是在多台处理器上同时处理多个任务，如hadoop分布式集群。并发是在一台处理器上“同时”处理多个任务，所以并发编程的目标是充分的利用处理器的每一个核，以达到最高的处理性能。
分布式和集中式是一对儿概念。
http://www.liaoxuefeng.com/wiki/0013739516305929606dd18361248578c67b8067c8c017b000/001374027586935cf69c53637d8458c9aec27dd546a6cd6000/
多进程单线程模型与单进程多线程模型之争
http://www.jianshu.com/p/c61a7746d139
多进程单线程模型典型代表：nginx
单进程多线程模型典型代表：memcached
iOS编程串行并行并发，同步异步阻塞非阻塞的区别。
进程：一个可执行的程序。
任务：一块可执行的代码。
线程：指的是一个独立的代码执行路径，线程是代码执行路径的最小分支。
串行和并行：串行是一次只能执行一个任务，并行是一次能执行多个任务。
并行是CPU的多核芯同时执行多个任务，并发是CPU的单核心交替执行两个任务。
简单说，多核并行 + 单核并发，并行与并发说的是一台cpu的事情。
集中式与分布式才是一个cpu与多个cpu的区别。
进程是资源分配的单位，线程是调度的单位。
一. 进程和线程的区别
下面是在网上看到的一个科普贴：
单进程单线程：一个人在一个桌子上吃菜。
单进程多线程：多个人在同一个桌子上一起吃菜。
多进程单线程：多个人每个人在自己的桌子上吃菜。
多线程的问题是多个人同时吃一道菜的时候容易发生争抢，例如两个人同时夹一个菜，一个人刚伸出筷子，结果伸到的时候已经被夹走菜了。。。此时就必须等一个人夹一口之后，在还给另外一个人夹菜，也就是说资源共享就会发生冲突争抢。
对于 Windows 系统来说，【开桌子】的开销很大(创建进程的时间开销很大)，因此 Windows 鼓励大家在一个桌子上吃菜。因此 Windows 多线程学习重点是要大量面对资源争抢与同步方面的问题。
对于 Linux 系统来说，【开桌子】的开销很小，因此 Linux 鼓励大家尽量每个人都开自己的桌子吃菜。这带来新的问题是：坐在两张不同的桌子上，说话不方便。因此，Linux 下的学习重点大家要学习进程间通讯的方法。
