《The Science of the Blockchain》读
关于区块链的发展和未来,其实我不想在这里展开太多。现在还是摸索和落地阶段,很多东西都不完善。我只是想说,无论是工业界还是学术界都在摸索怎么让区块链技术通用化,更加安全,更加可靠。一句话总结这互联网几年的变革贡献,“AI改变生产力,区块链技术改变生产关系“。
要从根本上了解区块链技术,最重要的是要掌握共识算法。然而要理解共识算法,只有从分布式算法开始,跟着巨人的肩膀上,了解分布式算法是经历过什么,才会明白每次算法的优化都是在更高的容错和更高的效率中进行权衡,直到现在的区块链技术,可以完成在不可靠的网络中,没有一个中心化节点,完成可靠的网络信任。下面从问题不断深入,不断优化方案最终分布式算法的奠基Paxos(这是一个号称最难懂的算法之一)。
容错问题
问题1,信息丢失
我们从最小的分布式系统开始(仅包含两个节点)。该系统中有一个客户端节点,它希望操作在远程服务器节点的数据。但是客户端发生的信息可能在传输的过程中丢失。
最小的分布式系统.png改进1,带确认(Acknowledgement)的算法
其实要解决这个问题,我们可以让服务端收到信息后,返回一个确认信息。如果没有在合理的时间内返回确认信息,它将重新发送命令。
确认的消息反馈.png熟悉TCP/IP的小伙伴应该可以看得出,这个问题就是TCP协议要处理的问题,TCP协议已经十分成熟了。在网络传输中,不仅仅客户端传输给服务端的命令可能会丢失,服务端给客户端的信息也有可能会丢失。这个问题然后还会延伸到很多问题,但是TCP协议已经很完美地处理了客户端和服务端在不可靠网络上进行可靠传输的问题。
这个问题很容易拓展到一个客户端对多个服务端的场景,假如一个客户端收到所有服务器的确认,那么就额可以认为命令已经被执行。
问题2,假如是多个客户端 <-> 多个服务端呢?
多个客户端VS多个服务器.png假设,我们存在三个服务器,各维护了一个变量X=5(初始值为5)。然后客户端A,向三个服务器发送了一个命令(X = X * 2);客户端B,向三个服务器发送了另外一个命令(X = X + 2)。很显然,A,B向三个服务器同时发送命令的话,三个服务器假如收到的顺序不一致,结果将会不一致。(一个结果是14,一个结果是12)
(状态复制)对于一组节点,如果所有均以相同的顺序执行一个命令序列(c1,c2,c3。。。),则这组节点实现了状态复制。状态复制是一个分布式系统的基本性质(区块链也是一个分布式系统)
。
要解决问题二,科学家们提出了很多很多种解决方案,这里提出几种方案。
方法1: 串行化器实现状态复制
串型化器.png我们由改进1可以得到,单个服务器是可以天然实现状态复制,我们可以将单个服务器视为一个串行化器。通过让串行化器来分发命令,自动对请求进行排序并获得状态复制。
算法如下:
1. 所有的客户端都向串行化器发送命令,每次发送一条
2. 串行化器将命令逐条发给所有的服务器
3. (针对某些命令)一旦串行化器收到所有的确认信息,它通知客户端该命令已经被成功执行了。
值得一提的是,这个想法其实就是我们开发中很熟悉的主从备份策略。(如下图),master就相当于上图的串行化器,用来进行各个命令序列(就是写入操作)。因为我们刚刚讨论过了串行化器可以用来完美满足状态复制,所以每一个Slave节点都可以进行read一样的数据。所以,这个串行化器的最常用的落地场景应该是mysql的主从复制。
image.png但是,这种技术存在一个很大的弊端,就是存在假如串行化器崩溃了,那么就完蛋了
改进2,使用更加分布式的算法来满足状态复制
根据陈博士的翻译说,“与其直接构造一个一致的命令序列,不如换一个思路:想办法确保最多一个客户端在发送命令“。其实就是利用加锁,让各自互斥。
具体的例子就是2PC算法和3PC算法,
(http://blog.51cto.com/11821908/2058651)
其实就是两个阶段:
- 就是客户端先请求服务端(协调者),获得锁
- 如果客户端拿到了全部的锁,那么就发送可靠命令,然后释放锁
但是无论是2PC还是3PC逗号,都不能很好地应对容错问题,甚至是更加糟糕。因为客户端需要获得全部的锁,才可以继续。一个崩溃都不允许。
现代分布式系统的奠基算法 ----- Paxos
陈博士在书上一语道破了Paxos的精华,“Paxos的核心就是把二阶段算法的锁,换成了票。客户端第一阶段是要先请求票,询问服务器是否有空处理问题;但是不保证服务器会等它,票发出去了,第二阶段就是等客户端来竞争这个资源。“(算法如下)
Paxos.jpg这个应该是对Paxos的极其简单的描述了,但是原来的Paxos描述得极其抽象。最初版本的Paxos有三个角色:提案者,接受者和学习者。在《The Science of the Blockchain》里面,第一章介绍了的paxos并不是完整版本的paxos,据陈博士说,这一部分只是single paxos。
在single paxos中,一个服务器是可以随时发布新的票的,哪怕前面发布的票还没有被释放,而且票是会过期的,只有请求的票是当前服务器最新的票的是会,这个票才会被接受。
由于我并没有完全看Leslie Lamport的论文,所以我并不打算展开讨论Paxos。(这个放到下一篇)但是从Paxos的精华就在于用票来取代了锁,这个极其创新的理念让分布式计算在并行的世界畅通无阻。
结语
《The Science of the Blockchain》第一章用问题带入的摸索分布式计算的历程,并且不断用反证法证明算法的可行性。从单机,再到主从备份,再到二阶段算法,不断优化,最后到Paxos算法。
根据书上所说,Paxos是现代所有分布式计算系统的奠基算法,基本全部系统都有Paxos的影子,具体应用有:Chubby,ZooKeeper,Nutanix,微信系统的PhxPaxos,实现了类的状态拷贝。