【修炼】02-程序员练级攻略（2018）-part02-2018

2018-09-04 本文已影响11人 cd13856c86e2

订阅了陈皓老师的极客时间专栏，这篇修炼攻略指明了修炼图，非常有意义，给需要的同学参考，希望大家都有所帮助，也希望大家订阅专栏。
专栏地址：https://time.geekbang.org/column/intro/48
另：若涉及版权问题，请告知下线。

==============> Content part02 <==============
12-程序员练级攻略（2018）：分布式架构入门-极客时间 | 左耳听风
13-程序员练级攻略（2018）：分布式架构经典图书和论文-极客时间 | 左耳听风
14-程序员练级攻略（2018）：分布式架构工程设计-极客时间 | 左耳听风
15-程序员练级攻略（2018）：微服务-极客时间 | 左耳听风
16-程序员练级攻略（2018）：容器化和自动化运维-极客时间 | 左耳听风
17-程序员练级攻略（2018）：机器学习和人工智能 -极客时间 | 左耳听风
18- 程序员练级攻略（2018）：前端基础和底层原理 -极客时间 | 左耳听风
19-程序员练级攻略（2018）：前端性能优化和框架-极客时间 | 左耳听风
20-程序员练级攻略（2018）：UI/UX设计-极客时间 | 左耳听风
21-程序员练级攻略（2018）：技术资源集散地-极客时间 | 左耳听风

程序员练级攻略（2018）：分布式架构入门

image.png

学习分布式系统跟学习其它技术非常不一样，分布式系统涵盖的面非常广，具体来说涵盖如下几方面：

服务调度，涉及服务发现、配置管理、弹性伸缩、故障恢复等。
资源调度，涉及对底层资源的调度使用，如计算资源、网络资源和存储资源等。
流量调度，涉及路由、负载均衡、流控、熔断等。
数据调度，涉及数据复本、数据一致性、分布式事务、分库、分表等。
容错处理，涉及隔离、幂等、重试、业务补偿、异步、降级等。
自动化运维，涉及持续集成、持续部署、全栈监控、调用链跟踪等。

所有这些形成了分布式架构的整体复杂度，也造就了分布式系统中的很多很多论文、图书以及很多很多的项目。要学好分布式系统及其架构，我们需要大量的时间和实践才能真正掌握这些技术。

这里有几点需要你注意一下。

分布式系统之所以复杂，就是因为其太容易也太经常出错了。这意味着，你要把处理错误的代码当成正常功能的代码来处理。
开发一个健壮的分布式系统的成本是单体系统的几百倍甚至几万倍。这意味着，我们要自己开发一个，需要能力很强的开发人员。
非常健壮的开源的分布式系统并不多，或者说基本没有。这意味着，如果你要用开源的，那么你需要 hold 得住其源码。
管理或是协调多个服务或机器是非常难的。这意味着，我们要去读很多很多的分布式系统的论文。
在分布式环境下，出了问题是很难 debug 的。这意味着，我们需要非常好的监控和跟踪系统，还需要经常做演练和测试。
在分布式环境下，你需要更科学地分析和统计。这意味着，我们要用 P90 这样的统计指标，而不是平均值，我们还需要做容量计划和评估。
在分布式环境下，需要应用服务化。这意味着，我们需要一个服务开发框架，比如 SOA 或微服务。
在分布式环境下，故障不可怕，可怕的是影响面过大，时间过长。这意味着，我们需要花时间来开发我们的自动化运维平台。

总之，在分布式环境下，一切都变得非常复杂。要进入这个领域，你需要有足够多的耐性和足够强的心态来接受各式各样的失败。当拥有丰富的实践和经验后，你才会有所建树。这并不是一日之功，你可能要在这个领域花费数年甚至数十年的时间。

分布式架构入门

学习如何设计可扩展的架构将会有助于你成为一个更好的工程师。系统设计是一个很宽泛的话题。在互联网上，关于架构设计原则的资源也是多如牛毛。所以，你需要知道一些基本概念，对此，这里你先读一下下面两篇文章，都非常不错。

Scalable Web Architecture and Distributed Systems ，这篇文章会给你一个大概的分布式架构是怎么来解决系统扩展性问题的粗略方法。
Scalability, Availability & Stability Patterns ，这个 PPT 能在扩展性、可用性、稳定性等方面给你一个非常大的架构设计视野和思想，可以让你感受一下大概的全景图。

然后，我更强烈推荐 GitHub 上的一篇文档 - System Design Primer ，这个仓库主要组织收集分布式系统的一些与扩展性相关的资源，它可以帮助你学习如何构建可扩展的架构。

目前这个仓库收集到了好些系统架构和设计的基本方法。其中包括：CAP 理论、一致性模型、可用性模式、DNS、CDN、负载均衡、反向代理、应用层的微服务和服务发现、关系型数据库和 NoSQL、缓存、异步通讯、安全等。

我认为，上面这几篇文章基本足够可以让你入门了，因为其中基本涵盖了所有与系统架构相关的技术。这些技术，足够这世上 90% 以上的公司用了，只有超级巨型的公司才有可能使用更高层次的技术。

分布式理论

下面，我们来学习一下分布式方面的理论知识。

首先，你需要看一下 An introduction to distributed systems。这只是某个教学课程的提纲，我觉得还是很不错的，几乎涵盖了分布式系统方面的所有知识点，而且辅以简洁并切中要害的说明文字，非常适合初学者提纲挈领地了解知识全貌，快速与现有知识结合，形成知识体系。这也是一个分布式系统的知识图谱，可以让你看到分布式系统的整体全貌。你可以根据这个知识图 Google 下去，然后你会学会所有的东西。

然后，你需要了解一下拜占庭将军问题（Byzantine Generals Problem）。这个问题是莱斯利·兰波特（Leslie Lamport）于 1982 年提出用来解释一致性问题的一个虚构模型（论文地址）。拜占庭是古代东罗马帝国的首都，由于地域宽广，守卫边境的多个将军（系统中的多个节点）需要通过信使来传递消息，达成某些一致的决定。但由于将军中可能存在叛徒（系统中节点出错），这些叛徒将努力向不同的将军发送不同的消息，试图会干扰一致性的达成。拜占庭问题即为在此情况下，如何让忠诚的将军们能达成行动的一致。

对于拜占庭问题来说，假如节点总数为 N，叛变将军数为 F，则当 N >= 3F + 1时，问题才有解，即拜占庭容错（Byzantine Fault Tolerant，BFT）算法。拜占庭容错算法解决的是，网络通信可靠但节点可能故障情况下一致性该如何达成的问题。

最早由卡斯特罗（Castro）和利斯科夫（Liskov）在 1999 年提出的实用拜占庭容错（Practical Byzantine Fault Tolerant，PBFT）算法，是第一个得到广泛应用的 BFT 算法。只要系统中有 2/3 的节点是正常工作的，则可以保证一致性。PBFT 算法包括三个阶段来达成共识：预准备（Pre-Prepare）、准备（Prepare）和提交（Commit）。

这里有几篇和这个问题相关的文章，推荐阅读。

拜占庭容错系统研究中有三个重要理论：CAP、FLP 和 DLS。

CAP 定理，CAP 理论相信你应该听说过不下 N 次了。CAP 定理是分布式系统设计中最基础也是最为关键的理论。CAP 定理指出，分布式数据存储不可能同时满足以下三个条件：一致性（Consistency）、可用性（Availability）和分区容忍（Partition tolerance）。 “在网络发生阻断（partition）时，你只能选择数据的一致性（consistency）或可用性（availability），无法两者兼得”。

论点比较直观：如果网络因阻断而分隔为二，在其中一边我送出一笔交易：“将我的十元给 A”；在另一半我送出另一笔交易：" 将我的十元给 B "。此时系统要不是，a）无可用性，即这两笔交易至少会有一笔交易不会被接受；要不就是，b）无一致性，一半看到的是 A 多了十元而另一半则看到 B 多了十元。要注意的是，CAP 理论和扩展性（scalability）是无关的，在分片（sharded）或非分片的系统皆适用。
FLP impossibility- 在异步环境中，如果节点间的网络延迟没有上限，只要有一个恶意的节点存在，就没有算法能在有限的时间内达成共识。但值得注意的是，“Las Vegas” algorithms（这个算法又叫撞大运算法，其保证结果正确，只是在运算时所用资源上进行赌博，一个简单的例子是随机快速排序，它的 pivot 是随机选的，但排序结果永远一致）在每一轮皆有一定机率达成共识，随着时间增加，机率会越趋近于 1。而这也是许多成功的共识算法会采用的解决问题的办法。
容错的上限 - 由 DLS 论文，我们可以得到以下结论。
- 在部分同步（partially synchronous）的网络环境中（即网络延迟有一定的上限，但我们无法事先知道上限是多少），协议可以容忍最多 1/3 的拜占庭故障（Byzantine fault）。
- 在异步（asynchronous）的网络环境中，具有确定性质的协议无法容忍任何错误，但这篇论文并没有提及 randomized algorithms，在这种情况下可以容忍最多 1/3 的拜占庭故障。
- 在同步（synchronous）网络环境中（即网络延迟有上限且上限是已知的），协议可以容忍 100% 的拜占庭故障，但当超过 1/2 的节点为恶意节点时，会有一些限制条件。要注意的是，我们考虑的是 " 具有认证特性的拜占庭模型（authenticated Byzantine）"，而不是 " 一般的拜占庭模型 "；具有认证特性指的是将如今已经过大量研究且成本低廉的公私钥加密机制应用在我们的算法中。

当然，还有一个著名的“8 条荒谬的分布式假设（Fallacies of Distributed Computing）”。

网络是稳定的。
网络传输的延迟是零。
网络的带宽是无穷大。
网络是安全的。
网络的拓扑不会改变。
只有一个系统管理员。
传输数据的成本为零。
整个网络是同构的。

阿尔农·罗特姆 - 盖尔 - 奥兹（Arnon Rotem-Gal-Oz）写了一篇长文 Fallacies of Distributed Computing Explained 来解释为什么这些观点是错误的。另外，加勒思·威尔逊（Gareth Wilson）的文章则用日常生活中的例子，对这些点做了通俗的解释。为什么我们深刻地认识到这 8 个错误？是因为，这要我们清楚地认识到——在分布式系统中错误是不可能避免的，我们在分布式系统中，能做的不是避免错误，而是要把错误的处理当成功能写在代码中。

下面分享几篇一致性方面的论文。

当然，关于经典的 CAP 理论，也存在一些误导的地方，这个问题在 2012 年有一篇论文 CAP Twelve Years Later: How the Rules Have Changed （中译版）中做了一些讨论，主要是说，在 CAP 中最大的问题就是分区，也就是 P，在 P 发生的情况下，非常难以保证 C 和 A。然而，这是强一致性的情况。

其实，在很多时候，我们并不需要强一致性的系统，所以后来，人们争论关于数据一致性和可用性时，主要是集中在强一致性的 ACID 或最终一致性的 BASE。当时，BASE 还不怎么为世人所接受，主要是大家都觉得 ACID 是最完美的模型，大家很难接受不完美的 BASE。在 CAP 理论中，大家总是觉得需要 " 三选二 "，也就是说，P 是必选项，那 " 三选二 " 的选择题不就变成数据一致性 (consistency)、服务可用性 (availability) 间的 " 二选一 " ？

然而，现实却是，P 很少遇到，而 C 和 A 这两个事，工程实践中一致性有不同程度，可用性也有不同等级，在保证分区容错性的前提下，放宽约束后可以兼顾一致性和可用性，两者不是非此即彼。其实，在一个时间可能允许的范围内是可以取舍并交替选择的。
Harvest, Yield, and Scalable Tolerant Systems ，这篇论文是基于上面那篇 "CAP 12 年后 " 的论文写的，它主要提出了 Harvest 和 Yield 概念，并把上面那篇论文中所讨论的东西讲得更为仔细了一些。
Base: An Acid Alternative （中译版），本文是 eBay 的架构师在 2008 年发表给 ACM 的文章，是一篇解释 BASE 原则，或者说最终一致性的经典文章。文中讨论了 BASE 与 ACID 原则的基本差异, 以及如何设计大型网站以满足不断增长的可伸缩性需求，其中有如何对业务做调整和折中，以及一些具体的折中技术的介绍。一个比较经典的话是——“在对数据库进行分区后, 为了可用性（Availability）牺牲部分一致性（Consistency）可以显著地提升系统的可伸缩性 (Scalability)”。
Eventually Consistent ，这篇文章是 AWS 的 CTO 维尔纳·沃格尔（Werner Vogel）在 2008 年发布在 ACM Queue 上的一篇数据库方面的重要文章，阐述了 NoSQL 数据库的理论基石——最终一致性，对传统的关系型数据库（ACID，Transaction）做了较好的补充。

小结

好了，总结一下今天分享的内容。文章的开头，我给出了学习分布式架构需要注意的几个关键点，然后列出了入门学习的资源，基本涵盖了所有与系统架构相关的技术。随后讲述了拜占庭容错系统研究中有三个重要理论：CAP、FLP 和 DLS，以及 8 条荒谬的分布式假设，从理论和认知等角度让你更为清楚地理解分布式系统。最后分享了几篇一致性相关的论文，很实用很经典，推荐阅读。

下篇文章中，我将推荐一些分布式架构的经典图书和论文，并给出了导读文字，几乎涵盖了分布式系统架构方面的所有关键的理论知识。敬请期待。

程序员练级攻略（2018）：分布式架构经典图书和论文

image.png

经典图书

首先，我推荐几本分布式架构方面的经典图书。

Distributed Systems for fun and profit，这是一本免费的电子书。作者撰写此书的目的是希望以一种更易于理解的方式，讲述以亚马逊的 Dynamo、谷歌的 Bigtable 和 MapReduce 等为代表的分布式系统背后的核心思想。
Designing Data Intensive Applications，这本书是一本非常好的书，我们知道，在分布式的世界里，数据结点的扩展是一件非常麻烦的事。这本书深入浅出地用很多的工程案例讲解了如何让数据结点做扩展。作者马丁·科勒普曼（Martin Kleppmann）在分布式数据系统领域有着很深的功底，并在这本书中完整地梳理各类纷繁复杂设计背后的技术逻辑，不同架构之间的妥协与超越，很值得开发人员与架构设计者阅读。

这本书深入到 B-Tree、SSTables、LSM 这类数据存储结构中，并且从外部的视角来审视这些数据结构对 NoSQL 和关系型数据库的影响。这本书可以让你很清楚地了解到真正世界的大数据架构中的数据分区、数据复制的一些坑，并提供了很好的解决方案。最赞的是，作者将各种各样的技术的本质非常好地关联在一起，令你触类旁通。

而且，这本书完全就是抽丝剥茧，循循善诱，从 " 提出问题 " 到 " 解决问题 "、“解决方案”、“优化方案 " 和 " 对比不同的方案”，一点一点地把非常晦涩的技术和知识展开。本书的引用相当多，每章后面都有几百个 Reference，通过这些 Reference 你可以看到更为广阔、更为精彩的世界。
[Distributed Systems: Principles and Paradigms](http://barbie.uta.edu/~jli/Resources/MapReduce&Hadoop/Distributed Systems Principles and Paradigms.pdf) ，本书是由计算机科学家安德鲁·斯图尔特·塔能鲍姆（Andrew S. Tanenbaum）和其同事马丁·范·斯蒂恩（Martin van Steen）合力撰写的，是分布式系统方面的经典教材。

语言简洁，内容通俗易懂，介绍了分布式系统的七大核心原理，并给出了大量的例子；系统讲述了分布式系统的概念和技术，包括通信、进程、命名、同步化、一致性和复制、容错以及安全等；讨论了分布式应用的开发方法（即范型）。但本书不是一本指导 " 如何做 " 的手册，仅适合系统性地学习基础知识，了解编写分布式系统的基本原则和逻辑。中文翻译版为《分布式系统原理与范型》（第二版）。
Scalable Web Architecture and Distributed Systems，
这是一本免费的在线小册子，其中文翻译版可扩展的 Web 架构和分布式系统。本书主要针对面向互联网（公网）的分布式系统，但其中的原理或许也可以应用于其他分布式系统的设计中。作者的观点是，通过了解大型网站的分布式架构原理，小型网站的构建也能从中受益。本书从大型互联网系统的常见特性，如高可用、高性能、高可靠、易管理等出发，引出了一个类似于 Flickr 的典型的大型图片网站的例子。
Principles of Distributed Systems ，本书是苏黎世联邦理工学院的教材。它讲述了多种分布式系统中会用到的算法。虽然分布式系统的不同场景会用到不同算法，但并不表示这些算法都会被用到。不过，作为学生来说，掌握了算法设计的精髓也就能举一反三地设计出解决其他问题的算法，从而得到分布式系统架构设计中所需的算法。

经典论文

分布式事务

想了解分布式模型中最难的 " 分布式事务 "，你需要看看 Google App Engine 联合创始人瑞恩·巴雷特（Ryan Barrett）在 2009 年的 Google I/O 大会上的演讲《Transaction Across DataCenter》（YouTube 视频）。

在这个演讲中，巴雷特讲述了各种经典的解决方案如何在一致性、事务、性能和错误上做平衡。而最后得到为什么分布式系统的事务只有 Paxos 算法是最好的。

下面这个图是这个算法中的结论。

[图片上传失败...(image-b0383a-1536069137307)]

你也可以移步看一下我在 Coolshell 上写的这篇文章《分布式系统的事务处理》。

Paxos 一致性算法

Paxos 算法，是莱斯利·兰伯特（Lesile Lamport）于 1990 年提出来的一种基于消息传递且具有高度容错特性的一致性算法。但是这个算法太过于晦涩，所以一直以来都属于理论上的论文性质的东西。其真正进入工程圈，主要是来源于 Google 的 Chubby lock——一个分布式的锁服务，用在了 Bigtable 中。直到 Google 发布了下面这两篇论文，Paxos 才进入到工程界的视野中来。

Google 与 Bigtable 相齐名的还有另外两篇论文。

不过，这几篇文章中并没有讲太多的 Paxos 算法上的细节，反而是在Paxos Made Live - An Engineering Perspective 这篇论文中提到了很多工程实现的细节。这篇论文详细解释了 Google 实现 Paxos 时遇到的各种问题和解决方案，讲述了从理论到实际应用二者之间巨大的鸿沟。

Paxos 算法的原版论文比较晦涩，也不易懂。这里推荐一篇比较容易读的—— Neat Algorithms - Paxos 。这篇文章中还有一些小动画帮助你读懂。还有一篇可以帮你理解的文章是 Paxos by Examples。

Raft 一致性算法

因为 Paxos 算法太过于晦涩，而且在实际的实现上有太多的坑，并不太容易写对。所以，有人搞出了另外一个一致性的算法，叫 Raft。其原始论文是 In search of an Understandable Consensus Algorithm (Extended Version) ，寻找一种易于理解的 Raft 算法。这篇论文的译文在 InfoQ 上，题为《Raft 一致性算法论文译文》，推荐你读一读。

这里推荐几个不错的 Raft 算法的动画演示。

Gossip 一致性算法

后面，业内又搞出来一些工程上的东西，比如 Amazon 的 DynamoDB，其论文Dynamo: Amazon’s Highly Available Key Value Store 的影响力非常大。这篇论文中讲述了 Amazon 的 DynamoDB 是如何满足系统的高可用、高扩展和高可靠的。其中展示了系统架构是如何做到数据分布以及数据一致性的。GFS 采用的是查表式的数据分布，而 DynamoDB 采用的是计算式的，也是一个改进版的通过虚拟结点减少增加结点带来数据迁移的一致性哈希。

这篇文章中有几个关键的概念，一个是 Vector Clock，另一个是 Gossip 协议。

Time, Clocks and the Ordering of Events in a Distributed System ，这篇文章是莱斯利·兰伯特（Leslie Lamport）于 1978 年发表的，并在 2007 年被选入 SOSP 的名人堂，被誉为第一篇真正的 " 分布式系统 " 论文，该论文曾一度成为计算机科学史上被引用最多的文章。分布式系统中的时钟同步是一个非常难的问题，因为分布式系统中是使用消息进行通信的，若使用物理时钟来进行同步，一方面是不同的 process 的时钟有差异，另一方面是时间的计算也有一定的误差，这样若有两个时间相同的事件，则无法区分它们谁前谁后了。这篇文章主要解决分布式系统中的时钟同步问题。
马萨诸塞大学课程 Distributed Operating System 中第 10 节 Clock Synchronization，这篇讲议讲述了时钟同步的问题。
关于 Vector Clock，你可以看一下 Why Vector Clocks are Easy 和 Why Vector Clocks are Hard 这两篇文章。

用来做数据同步的 Gossip 协议的原始论文是 Efficient Reconciliation and Flow Control for Anti-Entropy Protocols。Gossip 算法也是 Cassandra 使用的数据复制协议。这个协议就像八卦和谣言传播一样，可以 " 一传十、十传百 " 传播开来。但是这个协议看似简单，细节上却非常麻烦。

Gossip 协议也是 NoSQL 数据库 Cassandra 中使用到的数据协议，你可以上 YouTube 上看一下这个视频介绍： Understanding Gossip (Cassandra Internals)。

关于 Gossip 的一些图示化的东西，你可以看一下动画 Gossip Visualization。

分布式存储和数据库

除了前面的 Google 的 BigTable 和 Google File System 那两篇论文，还有 Amazon 的 DynamoDB 的论文，下面也有几篇也是要读一下的。

一篇是 AWS Aurora 的论文 Amazon Aurora: Design Considerations for High Throughput Cloud -Native Relation Databases。
另一篇是比较有代表的论文是 Google 的 Spanner: Google’s Globally-Distributed Database。其 2017 年的新版论文：Spanner, TrueTime & The CAP Theorem。
F1 - The Fault-Tolerant Distributed RDBMS Supporting Google’s Ad Business。
Cassandra: A Decentralized Structured Storage System 。
CRUSH: Controlled, Scalable, Decentralized Placement of Replicated Data, 这里提到的算法被应用在了 Ceph 分布式文件系统中，其架构可以读一下 RADOS - A Scalable, Reliable Storage Service for Petabyte-scale
Storage Clusters 以及 Ceph 的架构文档。

分布式消息系统

分布式消息系统，你一定要读一下 Kafka 的这篇论文 Kafka: a Distributed Messaging System for Log Processing。
Wormhole: Reliable Pub-Sub to Support Geo-replicated Internet Services ，Wormhole 是 Facebook 内部使用的一个 Pub-Sub 系统，目前还没有开源。它和 Kafka 之类的消息中间件很类似。但是它又不像其它的 Pub-Sub 系统，Wormhole 没有自己的存储来保存消息，它也不需要数据源在原有的更新路径上去插入一个操作来发送消息，是非侵入式的。其直接部署在数据源的机器上并直接扫描数据源的 transaction logs，这样还带来一个好处，Wormhole 本身不需要做任何地域复制（geo-replication）策略，只需要依赖于数据源的 geo-replication 策略即可。
All Aboard the Databus! LinkedIn’s Scalable Consistent Change Data Capture Platform ，在 LinkedIn 投稿 SOCC 2012 的这篇论文中，指出支持对不同数据源的抽取，允许不同数据源抽取器的开发和接入，只需该抽取器遵循设计规范即可。该规范的一个重要方面就是每个数据变化都必须被一个单调递增的数字标注（SCN），用于同步。这其中的一些方法完全可以用做异地双活的系统架构中。（和这篇论文相关的几个链接如下：PDF 论文、 PPT 分享。）

日志和数据

The Log: What every software engineer should know about real-time data’s unifying abstraction ，这篇文章好长，不过这是一篇非常好非常好的文章，这是每个工程师都应用知道的事，必看啊。你可以看中译版《日志：每个软件工程师都应该知道的有关实时数据的统一概念》。
The Log-Structured Merge-Tree (LSM-Tree) ，N 多年前，谷歌发表了 “Bigtable” 的论文，论文中很多很酷的方面，其一就是它所使用的文件组织方式，这个方法更一般的名字叫 Log Structured-Merge Tree。LSM 是当前被用在许多产品的文件结构策略：HBase、Cassandra、LevelDB、SQLite，甚至在 MongoDB 3.0 中也带了一个可选的 LSM 引擎（Wired Tiger 实现的）。LSM 有趣的地方是它抛弃了大多数数据库所使用的传统文件组织方法。实际上，当你第一次看它时是违反直觉的。这篇论文可以让你明白这个技术。（如果读起来有些费解的话，你可以看看中文社区里的这几篇文章：文章一、文章二。）
Immutability Changes Everything ，这篇论文是现任 Salesforce 软件架构师帕特·赫兰德（Pat Helland）在 CIDR 2015 大会上发表的（相关视频演讲）。
Tango: Distributed Data Structures over a Shared Log）。这个论文非常经典，其中说明了不可变性（immutability）架构设计的优点。随着为海量数据集存储和计算而设计的以数据为中心的新型抽象技术的出现，分布式系统比以往任何时候都更容易构建。但是，对于元数据的存储和访问不存在类似的抽象。

为了填补这一空白，Tango 为开发人员提供了一个由共享日志支持的内存复制数据结构（例如地图或树）的抽象。Tango 对象易于构建和使用，通过共享日志上简单的追加和读取操作来复制状态，而不是复杂的分布式协议。在这个过程中，它们从共享日志中获得诸如线性化、持久性和高可用性等属性。Tango 还利用共享日志支持跨不同对象的快速事务处理，允许应用程序跨机器进行状态划分，并在不牺牲一致性的情况下扩展到底层日志的上限。

分布式监控和跟踪

Google 的分布式跟踪监控论文 - Dapper, a Large-Scale Distributed Systems Tracing Infrastructure，其开源实现有三个 Zipkin、Pinpoint 和 HTrace。我个人更喜欢 Zipkin。

数据分析

The Unified Logging Infrastructure for Data Analytics at Twitter ，Twitter 公司的一篇关于日志架构和数据分析的论文。
[Scaling Big Data Mining Infrastructure: The Twitter Experience](http://www.datascienceassn.org/sites/default/files/Scaling Big Data Mining Infrastructure - The Twitter Experience.pdf) ，讲 Twitter 公司的数据分析平台在数据量越来越大，架构越来越复杂，业务需求越来越多的情况下，数据分析从头到底是怎么做的。
Dremel: Interactive Analysis of Web-Scale Datasets，Google 公司的 Dremel，是一个针对临时查询提供服务的系统，它处理的是只读的多层数据。本篇文章介绍了它的架构与实现，以及它与 MapReduce 是如何互补的。
Resident Distributed Datasets: a Fault-Tolerant Abstraction for In-Memory Cluster Computing，这篇论文提出了弹性分布式数据集（Resilient Distributed Dataset，RDD）的概念，它是一个分布式存储抽象，使得程序员可以在大型集群上以容错的方式执行内存计算；解释了其出现原因：解决之前计算框架在迭代算法和交互式数据挖掘工具两种应用场景下处理效率低下的问题，并指出将数据保存在内存中，可以将性能提高一个数量级；同时阐述了其实现原理及应用场景等多方面内容。很有趣儿，推荐阅读。

与编程相关的论文

其它的分布式论文阅读列表

除了上面上的那些我觉得不错的论文，下面还有三个我觉得不错的分布式系统论文的阅读列表，你可以浏览一下。

小结

今天分享的内容是分布式架构方面的经典图书和论文，并给出了导读文字，几乎涵盖了分布式系统架构方面的所有关键的理论知识。这些内容非常重要，是学好分布式架构的基石，请一定要认真学习。

下篇文章中，我们将讲述分布式架构工程设计方面的内容，包括设计原则、设计模式以及工程实践等方面的内容。敬请期待。

程序员练级攻略（2018）：分布式架构工程设计

image.png

要学好分布式架构，你首先需要学习一些架构指导性的文章和方法论，即分布式架构设计原则。下面是几篇很不错的文章，值得一读。

Designs, Lessons and Advice from Building Large Distributed Systems，Google 杰夫·迪恩（Jeff Dean）2009 年一次演讲的 PPT。2010 年，斯坦福大学请杰夫·迪恩到大学里给他们讲了一节课，你可以在 YouTube 上看一下，Building Software Systems At Google and Lessons Learned ，其回顾了 Google 发展的历史。
The Twelve-Factor App ，如今，软件通常会作为一种服务来交付，它们被称为网络应用程序，或软件即服务（SaaS）。12-Factor 为构建 SaaS 应用提供了方法论，是架构师必读的文章。（中译版）这篇文章在业内的影响力很大很大，必读！
Notes on Distributed Systems for Young Bloods ，给准备进入分布式系统领域的人的一些忠告。
On Designing and Deploying Internet-Scale Services（中译版），微软 Windows Live 服务平台的一些经验性的总结文章，很值得一读。
4 Things to Keep in Mind When Building a Platform for the Enterprise ，Box 平台 VP 海蒂·威廉姆斯（Heidi Williams）撰写的一篇文章，阐述了为企业构建平台时需要牢记的四件关于软件设计方面的事：1. Design Broadly, Build Narrowly； 2. Platforms Are Powerful and Flexible. Choose wisely what to expose when!；3. Build Incrementally, Get Feedback, and Iterate；4. Create a Platform-first Mentality。文章中有详细的解读，推荐看看。
Principles of Chaos Engineering ，我们知道，Netflix 公司有一个叫 Chaos Monkey 的东西，这个东西会到分布式系统里瞎搞，以此来测试系统的健壮和稳定性。这个视频中，Netflix 分享了一些软件架构的经验和原则，值得一看。
Building Fast & Resilient Web Applications ，伊利亚·格里高利克（Ilya Grigorik）在 Google I/O 2016 上的一次关于如何通过弹力设计来实现快速和可容错的网站架构的演讲，其中有好些经验分享。
Design for Resiliency ，这篇文章带我们全面认识 " 弹力（Resiliency）"，以及弹力对于系统的重要性，并详细阐述了如何设计和实现系统的弹力。
微软的 Azure 网站上有一系列的 Design Principle 的文章，你可以看看这几篇：Design for Self-healing 、Design for Scaling Out 和 Design for Evolution 。
Eventually Consistent ，AWS CTO 维尔纳·沃格尔斯（Werner Vogels）发布在自己 Blog 上的一篇关于最终一致性的好文。
Writing Code that Scales ，Rackspace 的一篇很不错的博文，告诉我们一些很不错的写出高扩展和高性能代码的工程原则。
Automate and Abstract: Lessons from Facebook on Engineering for Scale ，软件自动化和软件抽象，这是软件工程中最重要的两件事了。通过这篇文章，我们可以看到 Facebook 的关于这方面的一些经验教训。

设计模式

有了方法论后，你还需要学习一些比较细节的落地的技术。最好的方式就是学习被前人总结出来的设计模式，虽然设计模式也要分场景，但是设计模式可以让你知道一些套路，这些套路对于我们设计的分布式系统有非常大的帮助，不但可以让我们少走一些弯路，而且还能让我们更为系统和健壮地设计我们的架构。

下面是一些分布式架构设计模式的网站。

首先，需要重点推荐的是微软云平台 Azure 上的设计模式。 Cloud Design Patterns，这个网站上罗列了分布式设计的各种设计模式，可以说是非常全面和完整。对于每一个模式都有详细的说明，并有对其优缺点的讨论，以及适用场景和不适用场景的说明，实在是一个非常不错的学习分布式设计模式的地方。其中有如下分类。

除此之外，还有其它的一些关于分布式系统设计模式的网站和相关资料。

AWS Cloud Pattern ，这里收集了 AWS 云平台的一些设计模式。
Design patterns for container-based distributed systems ，这是 Google 给的一篇论文，其中描述了容器化下的分布式架构的设计模式。
Patterns for distributed systems ，这是一个 PPT，其中讲了一些分布式系统的架构模式，你可以顺着到 Google 里去搜索。

我个人觉得微服务也好，SOA 也好，都是分布式系统的一部分，这里有两个网站罗列了各种各样的服务架构模式。

A Pattern Language for Micro-Services ；
SOA Patterns。

当然，还有我在极客时间上写的那些分布式的设计模式的总结。

弹力设计篇，内容包括：认识故障和弹力设计、隔离设计、异步通讯设计、幂等性设计、服务的状态、补偿事务、重试设计、熔断设计、限流设计、降级设计、弹力设计总结。
管理设计篇，内容包括：分布式锁、配置中心、边车模式、服务网格、网关模式、部署升级策略等。
性能设计篇，内容包括：缓存、异步处理、数据库扩展、秒杀、边缘计算等。

设计与工程实践

分布式系统的故障测试

FIT: Failure Injection Testing ，Netflix 公司的一篇关于做故障注入测试的文章。
Automated Failure Testing ，同样来自 Netflix 公司的自动化故障测试的一篇博文。
Automating Failure Testing Research at Internet Scale ，Netflix 公司伙同圣克鲁斯加利福尼亚大学和 Gremlin 游戏公司一同撰写的一篇论文。

弹性伸缩

4 Architecture Issues When Scaling Web Applications: Bottlenecks, Database, CPU, IO ，本文讲解了后端程序的主要性能指标，即响应时间和可伸缩性这两者如何能提高的解决方案，讨论了包括纵向和横向扩展，可伸缩架构、负载均衡、数据库的伸缩、CPU 密集型和 I/O 密集型程序的考量等。
Scaling Stateful Objects ，这是一本叫《Development&Deployment of Multiplayer Online Games》书中一章内容的节选，讨论了有状态和无状态的节点如何伸缩的问题。虽然还没有写完，但是可以给你一些很不错的基本概念和想法。
Scale Up vs Scale Out: Hidden Costs ，Coding Horror 上的一篇有趣的文章，详细分析了可伸缩性架构的不同扩展方案（横向扩展或纵向扩展）所带来的成本差异，帮助你更好地选择合理的扩展方案，可以看看。
Best Practices for Scaling Out ，OpenShift 的一篇讨论 Scale out 最佳实践的文章。
Scalability Worst Practices ，这篇文章讨论了一些最差实践，你需要小心避免。
Reddit: Lessons Learned From Mistakes Made Scaling To 1 Billion Pageviews A Month ，Reddit 分享的一些关于系统扩展的经验教训。
下面是几篇关于自动化弹性伸缩的文章。

一致性哈希

Consistent Hashing ，这是一个一致性哈希的简单教程，其中还有代码示例。
Consistent Hashing: Algorithmic Tradeoffs ，这篇文章讲述了一致性哈希的一些缺陷和坑，以及各种哈希算法的性能比较，最后还给了一组代码仓库，其中有各种哈希算法的实现。
Distributing Content to Open Connect ，Netflix 的一个对一致性哈希的实践，提出了 Uniform Consistent Hashing，是挺有意思的一篇文章。
Consistent Hashing in Cassandra ，这是 Cassandra 中使用到的一致性哈希的相关设计。

数据库分布式

Life Beyond Distributed Transactions ，该文是 Salesforce 的软件架构师帕特·赫兰德（Pat Helland）于 2016 年 12 月发表的针对其在 2007 年 CIDR（创新数据库研究会议）上首次发表的同名文章的更新和缩写版本。业界谈到分布式事务通常指两段提交 2PC 事务（Spring/JEE 中 JTA 等) 或者 Paxos 与 Raft，这些事务都有明显缺点和局限性。

而赫兰德在本文讨论的是另外一种基于本地事务情况下的事务机制，它是基于实体和活动（Activity）的概念，其实类似 DDD 聚合根和领域事件的概念，这种工作流类型事务虽然需要程序员介入，依靠消息系统实现，但可以实现接近无限扩展的大型系统。赫兰德文中提出了重要的观点：“如果你不能使用分布式事务，那么你就只能使用工作流。”
How Sharding Works ，这是一篇很不错的探讨数据 Sharding 的文章。基本上来说，数据 Sharding 可能的问题都在这篇文章里谈到了。
Why you don’t want to shard ，这是 Percona 的一篇文章，其中表达了，不到万不得已不要做数据库分片。是的，最好还是先按业务来拆分，先把做成微服务的架构，然后把数据集变简单，然后再做 Sharding 会更好。
[How to Scale Big Data Applications](https://www.percona.com/sites/default/files/presentations/How to Scale Big Data Applications.pdf) ，这也是 Percona 给出的一篇关于怎样给大数据应用做架构扩展的文章。值得一读。
MySQL Sharding with ProxySQL ，用 ProxySQL 来支撑 MySQL 数据分片的一篇实践文章。

缓存

缓存更新的套路，这是我在 CoolShell 上写的缓存更新的几个设计模式，包括 Cache Aside、Read/Write Through、Write Behind Caching。
Design Of A Modern Cache ，设计一个现代化的缓存系统需要注意到的东西。
Netflix: Caching for a Global Netflix ，Netflix 公司的全局缓存架构实践。
Facebook: An analysis of Facebook photo caching ，Facebook 公司的图片缓存使用分析，这篇文章挺有意思的，用数据来调优不同的缓存大小和算法。
How trivago Reduced Memcached Memory Usage by 50% ，Trivago 公司一篇分享自己是如何把 Memcached 的内存使用率降了一半的实践性文章。很有意思，可以让你学到很多东西。
Caching Internal Service Calls at Yelp ，Yelp 公司的缓存系统架构。

消息队列

Understanding When to use RabbitMQ or Apache Kafka ，什么时候使用 RabbitMQ，什么时候使用 Kafka，通过这篇文章可以让你明白如何做技术决策。
Trello: Why We Chose Kafka For The Trello Socket Architecture ，Trello 的 Kafka 架构分享。
LinkedIn: Running Kafka At Scale ，Linkedin 公司的 Kafka 架构扩展实践。
Should You Put Several Event Types in the Same Kafka Topic? ，这个问题可能经常困扰你，这篇文章可以为你找到答案。
Billions of Messages a Day - Yelp’s Real-time Data Pipeline ，Yelp 公司每天十亿级实时消息的架构。
Uber: Building Reliable Reprocessing and Dead Letter Queues with Kafka ，Uber 公司的 Kafka 应用。
Uber: Introducing Chaperone: How Uber Engineering Audits Kafka End-to-End，Uber 公司对 Kafka 消息的端到端审计。
Publishing with Apache Kafka at The New York Times ，纽约时报的 Kafka 工程实践。
Kafka Streams on Heroku ，Heroku 公司的 Kafka Streams 实践。
Salesforce: How Apache Kafka Inspired Our Platform Events Architecture ，Salesforce 的 Kafka 工程实践。
Exactly-once Semantics are Possible: Here’s How Kafka Does it ，怎样用 Kafka 让只发送一次的语义变为可能。这是业界中一个很难的工程问题。
Delivering billions of messages exactly once 同上，这也是一篇挑战消息只发送一次这个技术难题的文章。
Benchmarking Streaming Computation Engines at Yahoo!。Yahoo! 的 Storm 团队在为他们的流式计算做技术选型时，发现市面上缺乏针对不同计算平台的性能基准测试。于是，他们研究并设计了一种方案来做基准测试，测试了 Apache Flink、Apache Storm 和 Apache Spark 这三种平台。文中给出了结论和具体的测试方案。（如果原文链接不可用，请尝试搜索引擎对该网页的快照。）

关于日志方面

Using Logs to Build a Solid Data Infrastructure - Martin Kleppmann ，设计基于 log 结构应用架构的一篇不错的文章。
Building DistributedLog: High-performance replicated log service ，Distributed 是 Twitter 2016 年 5 月份开源的一个分布式日志系统。在 Twitter 内部已经使用 2 年多。其主页在 distributedlog.io。这篇文章讲述了这个高性能日志系统的一些技术细节。另外，其技术负责人是个中国人，其在微信公众号中也分享过这个系统 Twitter 高性能分布式日志系统架构解析。
LogDevice: a distributed data store for logs ，Facebook 分布式日志系统方面的一些工程分享。

关于性能方面

Understand Latency ，这篇文章收集并整理了一些和系统响应时间相关的文章，可以让你全面了解和 Latency 有关的系统架构和设计经验方面的知识。
Common Bottlenecks ，文中讲述了 20 个常见的系统瓶颈。
Performance is a Feature ，Coding Horror 上的一篇让你关注性能的文章。
Make Performance Part of Your Workflow ，这篇文章是图书《Designing for Performance》中的节选（国内没有卖的），其中给出来了一些和性能有关的设计上的平衡和美学。
CloudFlare: How we built rate limiting capable of scaling to millions of domains，讲述了 CloudFlare 公司是怎样实现他们的限流功能的。从最简单的每客户 IP 限流开始分析，进一步讲到 anycast，在这种情况下 PoP 的分布式限流是怎样实现的，并详细解释了具体的算法。

关于搜索方面

各公司的架构实践

High Scalability ，这个网站会定期分享一些大规模系统架构是怎样构建的，下面是迄今为止各个公司的架构说明。

小结

今天我们分享的内容是高手成长篇分布式架构部分的最后一篇——分布式架构工程设计，讲述了设计原则、设计模式等方面的内容，尤其整理和推荐了国内外知名企业的设计思路和工程实践，十分具有借鉴意义。

下篇文章中，我们将分享微服务架构方面的内容。敬请期待。

程序员练级攻略（2018）：微服务

image.png

微服务是分布式系统中最近比较流行的架构模型，也是 SOA 架构的一个进化。微服务架构并不是银弹，所以，也不要寄希望于微服务构架能够解决所有的问题。微服务架构主要解决的是如何快速地开发和部署我们的服务，这对于一个能够适应快速开发和成长的公司是非常必要的。同时我也觉得，微服务中有很多很不错的想法和理念，所以学习微服务是每一个技术人员迈向卓越的架构师的必经之路。

首先，你需要看一下，Martin Fowler 的这篇关于微服务架构的文档 - Microservice Architecture （中译版），这篇文章说明了微服务的架构与传统架构的不同之处在于，微服务的每个服务与其数据库都是独立的，可以无依赖地进行部署。你也可以看看 Martin Fowler 老人家现身说法的视频。

另外，你还可以简单地浏览一下，各家对微服务的理解。

微服务架构

接下来，你可以看一下 IBM 红皮书：Microservices Best Practices for Java ，这本书非常好，不但有通过把 Spring Boot 和 Dropwizard 来架建 Java 的微服务，而且还谈到了一些标准的架构模型，如服务注册、服务发现、API 网关、服务通讯、数据处理、应用安全、测试、部署、运维等，是相当不错的一本书。

当然，有一本书你也可以读一下—— 微服务设计。这本书全面介绍了微服务的建模、集成、测试、部署和监控，通过一个虚构的公司讲解了如何建立微服务架构。主要内容包括认识微服务在保证系统设计与组织目标统一上的重要性，学会把服务集成到已有系统中，采用递增手段拆分单块大型应用，通过持续集成部署微服务，等等。

与此相似的，也有其它的一系列文章，值得一读。

下面是 Nginx 上的一组微服务架构的系列文章。

下面这是 Auto0 Blog 上一系列的微服务的介绍，有代码演示。

还有 Dzone 的这个 Spring boot 的教程。

当然，如果你要玩得时髦一些的话，我推荐你使用下面的这套架构。

前端：React.js 或 Vue.js。
后端：Go 语言 + 微服务工具集 Go kit ，因为是微服务了，所以，每个服务的代码就简单了。既然简单了，也就可以用任何语言了，所以，我推荐 Go 语言。
通讯：gRPC，这是 Google 远程调用的一个框架，它比 Restful 的调用要快 20 倍到 50 倍的样子。
API：Swagger ，Swagger 是一种 Restful API 的简单但强大的表示方式，标准的，语言无关，这种表示方式不但人可读，而且机器可读。可以作为 Restful API 的交互式文档，也可以作为 Restful API 形式化的接口描述，生成客户端和服务端的代码。今天，所有的 API 应该都通过 Swagger 来完成。
网关：Envoy 其包含了服务发现、负载均衡和熔断等这些特性，也是一个很有潜力的网关。当然，Kubernetes 也是很好的，而且它也是高扩展的，所以，完全可以把 Envoy 通过 Ingress 集成进 Kubernetes。这里有一个开源项目就是干这个事的 - contour。
日志监控：fluentd + ELK 。
指标监控：Prometheus 。
调用跟踪：Jaeger 或是 Zipkin，当然，后者比较传统一些，前者比较时髦，最重要的是，其可以和 Prometheus 和 Envory 集成。
自动化运维：Docker + Kubernetes 。

微服务和 SOA

在对微服务有了一定的认识以后，一定有很多同学分不清楚微服务和 SOA 架构，对此，你可以看一下这本电子书 - 《Microservices vs. Service-Oriented Architecture》。通过这本书，你可以学到，服务化架构的一些事实，还有基础的 SOA 和微服务的架构知识，以及两种架构的不同。这本书的作者马克·理查兹（Mark Richards）同学拥有十年以上的 SOA 和微服务架构的设计和实现的经验。

另外，还有几篇其它对比 SOA 和微服务的文章你也可以看看。

除此之外，我们还需要知道微服务和其它架构的一些不同和比较，这样我们就可以了解微服务架构的优缺点。下面几篇文章将帮助获得这些知识。

设计模式和最佳实践

然后，你可以看一下微服务的一些设计模式。

Microservice Patterns，微服务架构的设计模式和最佳实践。
Microservice Antipatterns and Pitfalls，微服务架构的一些已知的反模式和陷阱。
Microservice Architecture: All The Best Practices You Need To Know，这是一篇长文，里面讲述了什么是微服务、微服务架构的优缺点、微服务最大的挑战和解决方案是什么、如何避免出错，以及构建微服务架构的最佳实践等多方面的内容。推荐阅读。
Best Practices for Building a Microservice Architecture ，这篇文章分享了构建微服务架构的最佳实践。
Simplicity by Distributing Complexity，这是一篇讲如何使用事件驱动构建微服务架构的文章，其中有很多不错的设计上的基本原则。

小结

好了，总结一下今天的内容。我认为，微服务中有很多很不错的想法和理念，所以学习微服务是每一个技术人员迈向卓越的架构师的必经之路。在这篇文章中，我先给出了 AWS、Microsoft 和 Pivotal 对微服务的理解；然后给出了好几个系列的教程，帮你全面学习和理解微服务架构；然后通过一系列文章帮你来区分何为微服务，何为 SOA；最后给出了微服务架构的设计模式和最佳实践，以及相关资源。相信通过这一系列内容的学习，你一定会对微服务有全面、透彻的理解。

下篇文章，我们将讲述的容器化和自动化运维方面的内容。敬请期待。

程序员练级攻略（2018）：容器化和自动化运维

这篇文章重点学习 Docker 和 Kubernetes，它们已经是分布式架构和自动化运维的必需品了，也是你必需要学习的。对于这两个东西，你千万不要害怕，因为技术方面都不算复杂，只是它们的玩法和传统运维不一样，所以你不用担心，只要你花上一点时间，一定会学好的。

Docker

你可以先看一下 Docker 的官方介绍 Docker Overview 。
然后再去一个 Web 在线的 Playground 上体验一下， Katacoda Docker Playground 或者是 Play With Docker 。
接下来，跟着 Learn Docker 这个文档中的教程自己安装一个 Docker 的环境，实操一把。
然后跟着 Docker Curriculum 这个超详细的教程玩一下 Docker。

有了上述的一些感性体会之后，你就可以阅读 Docker 官方文档 Docker Documentation 了，这是学习 Docker 最好的方式。

如果你想了解一下 Docker 的底层技术细节，你可以参看我的文章。

还有一些不错的与 Docker 网络有关的文章你需要阅读及实践一下。

Docker 有下面几种网络解决方案：Calico 、Flannel 和 Weave ，你需要学习一下。另外，还需要学习一下 netshoot 。这是一个很不错的用来诊断 Docker 网络问题的工具集。

关于这几个容器网络解决方案的性能对比，你可以看一下下面这几篇文章或报告。

如果你对 Docker 的性能有什么问题的话，你可以看一下下面这些文章。

下面是一些和存储相关的文章。

然后是跟运维相关的文章。

Docker Monitoring with the ELK Stack: A Step-by-Step Guide

最后，推荐看看 Valuable Docker Links ，其中收集并罗列了一系列非常不错的 Docker 文章。

最佳实践

下面分享一些与 Docker 相关的最佳实践。

Best Practices for Dockerfile ，Docker 官方文档里的 Dockerfile 的最佳实践。
Docker Best Practices ，这里收集汇总了存在于各个地方的使用 Docker 的建议和实践。
Container Best Practices ，来自 Atomic 项目，是一个介绍容器化应用程序的架构、创建和管理的协作型文档项目。
Eight Docker Development Patterns ，八个 Docker 的开发模式：共享基础容器、共享同一个卷的多个开发容器、开发工具专用容器、测试环境容器、编译构建容器、防手误的安装容器、默认服务容器、胶黏容器。

Kubernetes

Kubernetes 是 Google 开源的容器集群管理系统，是 Google 多年大规模容器管理技术 Borg 的开源版本，也是 CNCF 最重要的项目之一，主要功能包括：

基于容器的应用部署、维护和滚动升级；
负载均衡和服务发现；
跨机器和跨地区的集群调度；
自动伸缩；
无状态服务和有状态服务；
广泛的 Volume 支持；
插件机制保证扩展性。

Kubernetes 发展非常迅速，已经成为容器编排领域的领导者。

首先，我推荐你阅读 Kubernetes 前世今生的一篇论文。

Borg, Omega, and Kubernetes ，看看 Google 这十几年来从这三个容器管理系统中得到的经验教训。

学习 kubernetes，有两个免费的开源电子书。

《Kubernetes Handbook》，这本书记录了作者从零开始学习和使用 Kubernetes 的心路历程，着重于经验分享和总结，同时也会有相关的概念解析。希望能够帮助你少踩坑，少走弯路，还会指引你关注 kubernetes 生态周边，如微服务构建、DevOps、大数据应用、Service Mesh、Cloud Native 等领域。
《Kubernetes 指南》，这本书旨在整理平时在开发和使用 Kubernetes 时的参考指南和实践总结，形成一个系统化的参考指南以方便查阅。

这两本电子书都不错，前者更像是一本学习教程，而且面明显广一些，还包括 Cloud Natvie、Service Mesh 以及微服务相关的东西。而后者聚焦于 Kubernetes 本身，更像一本参考书。

但是也别忘了 Kubernetes 的官方网站：Kubernetes.io，上面不但有全面的文档，也包括一个很不错的官方教程。

此外，还有一些交互式教程，帮助你理解掌握，以及一些很不错的文章推荐你阅读。

一些交互式教程

一些文章

这里还有一些不错的文档，你应该去读一下。

Kubernetes tips & tricks
Achieving CI/CD with Kubernetes
How to Set Up Scalable Jenkins on Top of a Kubernetes Cluster
10 Most Common Reasons Kubernetes Deployments Fail Part I 和 Part II
How to Monitor Kubernetes ，一共有 4 个篇章
Logging in Kubernetes with Fluentd and Elasticsearch
Kubernetes Monitoring: Best Practices, Methods, and Existing Solutions

网络相关的文章

要学习 Kubernetes，你只需要读一下，下面这个 Kubernetes 101 系列的文章。

CI/CD 相关的文章

最佳实践

Kubernetes Best Practices by Sachin Arote ，AWS 工程师总结的最佳实践。
Kubernetes Best Practices by Sandeep Dinesh ，Google 云平台工程师总结的最佳实践。

Docker 和 Kubernetes 资源汇总

下面是 Github 上和 Docker & Kubernetes 相关的 Awesome 系列。

Awesome Docker。
Awesome Kubernetes。

虽然上面的这些系列非常全的罗列了很多资源，但是我觉得很不系统。对于系统的说明 Docker 和 Kubernetes 生态圈，我非常推荐大家看一下 The New Stack 为 Kubernetes 出的一系列的电子书或报告。

The New Stack eBook Series ，非常完整和详实的 Docker 和 Kubernetes 生态圈的所有东西。
- Book 01: The Docker Container Ecosystem
- Book 02: Applications & Microservices with Docker & Containers
- Book 03: Automation & Orchestration with Docker & Containers
- Book 04: Network, Security & Storage with Docker & Containers
- Book 05: Monitoring & Management with Docker & Containers
- Book 06: Use Cases for Kubernetes
- Book 07: State of the Kubernetes Ecosystem
- Book 08: Kubernetes Deployment & Security Patterns
- Book 09: CI/CD with Kubernetes
- Book 10: Kubernetes solutions Directory
- Book 11: Guid to Cloud-Native Microservices

小结

总结一下今天的内容。Docker 和 Kubernetes 已经成为分布式架构和自动化运维方面的不可或缺的两大基本构成，是你必需要学习的。虽然它们的玩法跟传统运维不一样，但技术方面并不算复杂，只要你花上一点时间，一定会学好的。

在这篇文章中，我推荐了 Docker 和 Kubernetes 基础技术方面的学习资料，并给出了存储、运维、网络、CI/CD 等多方面的资料，同时列出了与之相关的最佳实践。相信认真学习和消化这些知识，你一定可以掌握 Docker 和 Kubernetes 两大利器。

下篇文章，我们将学习机器学习和人工智能方面的内容。敬请期待。

程序员练级攻略（2018）：机器学习和人工智能

image.png

我之前写过一篇机器学习的入门文章，因为我也是在入门和在学习的人，所以，那篇文章和这篇机器学习和人工智能方向的文章可能都会有点太肤浅。如果你有更好的学习方式或资料，欢迎补充。

基本原理简介

我们先来介绍一下机器学习的基本原理。

机器学习主要有两种方式，一种是监督式学习（Supervised Learning），另一种是非监督式学习（Unsupervised Learning）。下面简单地说一下这两者的不同。

监督式学习（Supervised Learning）。所谓监督式学习，也就是说，我们需要提供一组学习样本，包括相关的特征数据和相应的标签。我们的程序可以通过这组样本来学习相关的规律或是模式，然后通过得到的规律或模式来判断没有被打过标签的数据是什么样的数据。

举个例子，假设需要识别一些手写的数字，我们要找到尽可能多的手写体的数字的图像样本，然后人工或是通过某种算法来明确地标注上什么是这些手写体的图片，谁是 1，谁是 2，谁是 3…… 这组数据叫样本数据，又叫训练数据（training data）。然后通过机器学习的算法，找到每个数字在不同手写体下的特征，找到规律和模式。通过得到的规律或模式来识别那些没有被打过标签的手写数据，以此完成识别手写体数字的目的。
非监督式学习（Unsupervised Learning）。对于非监督式学习，也就是说，数据是没有被标注过的，所以相关的机器学习算法需要找到这些数据中的共性。因为大量的数据是没被被标识过的，所以这种学习方式可以让大量的未标识的数据能够更有价值。而且，非监督式学习，可以为我们找到人类很难发现的数据里的规律或模型，所以也有人称这种学习为 " 特征点学习 "，其可以让我们自动地为数据进行分类，并找到分类的模型。

一般来说，非监督式学习会应用在一些交易型的数据中。比如，你有一堆堆的用户购买数据，但是对于人类来说，我们很难找到用户属性和购买商品类型之间的关系。所以，非监督式学习算法可以帮助我们找到它们之间的关系。比如，一个在某个年龄段的女性购买了某种肥皂，有可能说明这个女性在怀孕期，或是某人购买儿童用品，有可能说明这个人的关系链中有孩子，等等。于是，这些信息会被用作一些所谓的精准市场营销活动，从而可以增加商品销量。

我们这么来说吧，监督式学习是在被告诉过了正确的答案后的学习，而非监督式学习是在没有被告诉正确答案时的学习。所以，非监督式学习是在大量的非常乱的数据中找寻一些潜在的关系，这个成本也比较高。非监督式学习经常被用来检测一些不正常的事情发生，比如信用卡的诈骗或是盗刷。也被用在推荐系统，比如买了这个商品的人又买了别的什么商品，或是如果某个人喜欢某篇文章、某个音乐、某个餐馆，那么他可能会喜欢某个车、某个明星或某个地方。

在监督式学习算法下，我们可以用一组 " 狗 " 的照片来确定某个照片中的物体是不是狗。而在非监督式学习算法下，我们可以通过一个照片来找到其中有与其相似的事物的照片。这两种学习方式都有些有用的场景。

关于机器学习，你可以读一读 Machine Learning is Fun! ，这篇文章（中文翻译版）恐怕是全世界最简单的入门资料了。

小结

总结一下今天的内容。我首先介绍了机器学习的基本原理：监督式学习和非监督式学习，然后给出了全世界最简单的入门资料 Machine Learning is Fun!。随后给出了与机器学习密切相关的数据分析方面的内容和资料，然后推荐了深入学习机器学习知识的在线课程、图书和文章等，尤其列举了神经网络方面的学习资料。最后描述了机器学习的十大经典算法及相关的学习资料。

在机器学习和人工智能领域，我也在学习，也处于入门阶段，所以本文中推荐的内容，可能在你看来会有些浅。如果你有更好的信息和资料，欢迎补充。目前文章中给出来的是，我在学习过程中认为很不错的内容，我从中受益良多，所以希望它们也能为你的学习提供帮助。

从下篇文章开始，我们将进入前端知识的学习，包括基础和底层原理、性能优化、前端框架、UI/UX 设计等内容。敬请期待。

程序员练级攻略（2018）：前端基础和底层原理

image.png

对于前端的学习和提高，我的基本思路是这样的。首先，前端的三个最基本的东西 HTML5、CSS3 和 JavaScript（ES6）是必需要学好的。这其中有很多很多的技术，比如，CSS3 引申出来的 Canvas（位图）、SVG（矢量图）和 WebGL（3D 图），以及 CSS 的各种图形变换可以让你做出非常丰富的渲染效果和动画效果。

ES6 简直就是把 JavaScript 带到了一个新的台阶，JavaScript 语言的强大，大大释放了前端开发人员的生产力，让前端得以开发更为复杂的代码和程序，于是像 React 和 Vue 这样的框架开始成为前端编程的不二之选。

我一直认为学习任何知识都要从基础出发，所以我会有很大的篇幅在讲各种技术的基础知识和基本原理，尤其是如下的这些知识，都是前端程序员需要一块一块啃掉的硬骨头。

JavaScript 的核心原理。这里我会给出好些网上很不错的讲 JavaScript 的原理的文章或图书，你一定要学好语言的特性和其中的各种坑。
浏览器的工作原理。这也是一块硬骨头，我觉得这是前端程序员需要了解和明白的东西，不然，你将无法深入下去。
网络协议 HTTP。也是要着重了解的，尤其是 HTTP/2，还有 HTTP 的几种请求方式：短连接、长连接、Stream 连接、WebSocket 连接。
前端性能调优。有了以上的这些基础后，你就可以进入前端性能调优的主题了，我相信你可以很容易上手各种性能调优技术的。
框架学习。我只给了 React 和 Vue 两个框架。就这两个框架来说，Virtual DOM 技术是其底层技术，组件化是其思想，管理组件的状态是其重点。而对于 React 来说，函数式编程又是其编程思想，所以，这些基础技术都是你需要好好研究和学习的。
UI 设计。设计也是前端需要做的一个事，比如像 Google 的 Material UI，或是比较流行的 Atomic Design 等应该是前端工程师需要学习的。

而对于工具类的东西，这里我基本没怎么涉及，因为本文主要还是从原理和基础入手。那些工具我觉得都很简单，就像学习 Java 我没有让你去学习 Maven 一样，因为只要你去动手了，这种知识你自然就会获得，我们还是把精力重点放在更重要的地方。

下面我们从前端基础和底层原理开始讲起。先来讲讲 HTML5 相关的内容。

HTML5

HTML5 主要有以下几本书推荐。

HTML5 权威指南，本书面向初学者和中等水平 Web 开发人员，是牢固掌握 HTML5、CSS3 和 JavaScript 的必读之作。书看起来比较厚，是因为里面的代码很多。
HTML5 Canvas 核心技术，如果你要做 HTML5 游戏的话，这本书必读。

对于 SVG、Canvas 和 WebGL 这三个对应于矢量图、位图和 3D 图的渲染来说，给前端开发带来了重武器，很多 HTML5 小游戏也因此蓬勃发展。所以，你可以学习一下。

学习这三个技术，我个人觉得最好的地方是 MDN。

最后是几个资源列表。

Awesome HTML5 。GitHub 上的 Awesome HTML5，其中有大量的资源和技术文章。
Awesome SVG
Awesome Canvas
Awesome WebGL

CSS

在《程序员练级攻略（2018）》系列文章最开始，我们就推荐过 CSS 的在线学习文档，这里再推荐一下 MDN Web Doc - CSS 。我个人觉得只要你仔细读一下文档，CSS 并不难学。绝大多数觉得难的，一方面是文档没读透，另一方面是浏览支持的标准不一致。所以，学好 CSS 最关键的还是要仔细地读文档。

之后，在写 CSS 的时候，你会发现，你的 CSS 中有很多看起来相似的东西。你的 DRY - Don’t Repeat Yourself 洁癖告诉你，这是不对的。所以，你需要学会使用LESS 和 SaSS 这两个 CSS 预处理工具，其可以帮你提高很多效率。

然后，你需要学习一下 CSS 的书写规范，前面的《程序员修养》一文中提到过一些，这里再补充几个。

如果你需要更有效率，那么你还需要使用一些 CSS Framework，其中最著名的就是 Twitter 公司的 Bootstrap，其有很多不错的 UI 组件，页面布局方案，可以让你非常方便也非常快速地开发页面。除此之外，还有，主打清新 UI 的 Semantic UI 、主要响应式界面的 Foundation 和基于 Flexbox 的 Bulma。

当然，在使用 CSS 之前，你需要把你浏览器中的一些 HTML 标签给标准化掉。所以，推荐几个 Reset 或标准化的 CSS 库：Normalize、MiniRest.css、sanitize.css和 unstyle.css。

关于更多的 CSS 框架，你可以参看Awesome CSS Frameworks 上的列表。

接下来，是几个公司的 CSS 相关实践，供你参考。

最后是一个可以写出可扩展的 CSS 的阅读列表 A Scalable CSS Reading List 。

JavaScript

下面是学习 JavaScript 的一些图书和文章。

JavaScript: The Good Parts ，中文翻译版为《JavaScript 语言精粹》。这是一本介绍 JavaScript 语言本质的权威图书，值得任何正在或准备从事 JavaScript 开发的人阅读，并且需要反复阅读。学习、理解、实践大师的思想，我们才可能站在巨人的肩上，才有机会超越大师，这本书就是开始。
Secrets of the JavaScript Ninja ，中文翻译版为《JavaScript 忍者秘籍》，本书是 jQuery 库创始人编写的一本深入剖析 JavaScript 语言的书。适合具备一定 JavaScript 基础知识的读者阅读，也适合从事程序设计工作并想要深入探索 JavaScript 语言的读者阅读。这本书有很多晦涩难懂的地方，需要仔细阅读，反复琢磨。
Effective JavaScript ，Ecma 的 JavaScript 标准化委员会著名专家撰写，作者凭借多年标准化委员会工作和实践经验，深刻辨析 JavaScript 的内部运作机制、特性、陷阱和编程最佳实践，将它们高度浓缩为极具实践指导意义的 68 条精华建议。
接下来是 ES6 的学习，这里给三个学习手册源。
- ES6 in Depth，InfoQ 上有相关的中文版 - ES6 深入浅出。还可以看看 A simple interactive ES6 Feature list ，或是看一下阮一峰翻译的 ES6 的教程] 。
- ECMAScript 6 Tools ，这是一堆 ES6 工具的列表，可以帮助你提高开发效率。
- Modern JS Cheatsheet ，这个 Cheatsheet 在 GitHub 上有 1 万 6 千颗星，你就可见其影响力了。
然后，还有一组很不错的《You Don’t Know JS 系列》的书。
- [You Don’t Know JS: “Up & Going”](https://github.com/getify/You-Dont-Know-JS/blob/master/up & going/README.md#you-dont-know-js-up--going)
- [You Don’t Know JS: “Scope & Closures”](https://github.com/getify/You-Dont-Know-JS/blob/master/scope & closures/README.md#you-dont-know-js-scope--closures)
- [You Don’t Know JS: “this & Object Prototypes”](https://github.com/getify/You-Dont-Know-JS/blob/master/this & object prototypes/README.md#you-dont-know-js-this--object-prototypes)
- [You Don’t Know JS: “Types & Grammar”](https://github.com/getify/You-Dont-Know-JS/blob/master/types & grammar/README.md#you-dont-know-js-types--grammar)
- [You Don’t Know JS: “Async & Performance”](https://github.com/getify/You-Dont-Know-JS/blob/master/async & performance/README.md#you-dont-know-js-async--performance)
- [You Don’t Know JS: “ES6 & Beyond”](https://github.com/getify/You-Dont-Know-JS/blob/master/es6 & beyond/README.md#you-dont-know-js-es6--beyond)
接下来是一些和编程范式相关的文章。
- Glossary of Modern JavaScript Concepts: Part 1 ，首先推荐这篇文章，其中收集了一些编程范式方面的内容，比如纯函数、状态、可变性和不可变性、指令型语言和声明式语言、函数式编程、响应式编程、函数式响应编程。
- Glossary of Modern JavaScript Concepts: Part 2 ，在第二部分中主要讨论了作用域和闭包，数据流，变更检测，组件化……
下面三篇文章是德米特里·索什尼科夫（Dmitry Soshnikov）个人网站上三篇讲 JavaScript 内在的文章。
“How JavaScript Works” 是一组非常不错的文章（可能还没有写完），强烈推荐。这一系列的文章是 SessionStake 的 CEO 写的，现在有 13 篇，我感觉可能还没有写完。这个叫亚历山大·兹拉特科夫（Alexander Zlatkov）的 CEO 太猛了。
- An overview of the engine, the runtime, and the call stack
- Inside the V8 engine + 5 tips on how to write optimized code ，了解 V8 引擎。这里，也推荐 Understanding V8’s Bytecode 这篇文章可以让你了解 V8 引擎的底层字节码。
- Memory management + how to handle 4 common memory leaks ，内存管理和 4 种常见的内存泄露问题。
- Event loop and the rise of Async programming + 5 ways to better coding with async/await ，Event Loop 和异步编程。
- Deep dive into WebSockets and HTTP/2 with SSE + how to pick the right path ，WebSocket 和 HTTP/2。
- A comparison with WebAssembly + why in certain cases it’s better to use it over JavaScript ，JavaScript 内在原理。
- The building blocks of Web Workers + 5 cases when you should use them，Web Workers 技术。
- Service Workers, their lifecycle and use cases ，Service Worker 技术。
- The mechanics of Web Push Notifications ，Web 端 Push 通知技术。
- Tracking changes in the DOM using MutationObserver ，Mutation Observer 技术。
- The rendering engine and tips to optimize its performance ，渲染引擎和性能优化。
- Inside the Networking Layer + How to Optimize Its Performance and Security ，网络性能和安全相关。
- Under the hood of CSS and JS animations + how to optimize their performance ，CSS 和 JavaScript 动画性能优化。
接下来是 Google Chrome 工程经理阿迪·奥斯马尼（Addy Osmani）的几篇 JavaScript 性能相关的文章，也是非常好的。
- The Cost Of JavaScript
- JavaScript Start-up Performance
其它与 JavaScript 相关的资源。
- JavScript has Unicode Problem ，这是一篇很有价值的 JavaScript 处理 Unicode 的文章。
- JavaScript Algorithms ，用 JavaScript 实现的各种基础算法库。
- JavaScript 30 秒代码，一堆你可以在 30 秒内看懂各种有用的 JavaScript 的代码，在 GitHub 上有 2 万颗星了。
- What the f*ck JavaScript ，一堆 JavaScript 搞笑和比较 tricky 的样例。
- Airbnb JavaScript Style Guide ，Airbnb 的 JavaScript 的代码规范，GitHub 上有 7 万多颗星。
- JavaScript Patterns for 2017 ，YouTube 上的一个 JavaScript 模式分享，值得一看。

浏览器原理

你需要了解一下浏览器是怎么工作的，所以，你必需要看《How browsers work》。这篇文章受众之大，后来被人重新整理并发布为《How Browsers Work: Behind the scenes of modern web browsers》，其中还包括中文版。这篇文章非常非常长，所以，你要有耐心看完。如果你想看个精简版的，可以看我在 Coolshell 上发的《浏览器的渲染原理简介》或是看一下这个幻灯片。

然后，是对 Virtual DOM 的学习。Virtual DOM 是 React 的一个非常核心的技术细节，它也是前端渲染和性能的关键技术。所以，你有必要要好好学习一下这个技术的实现原理和算法。当然，前提条件是你需要学习过前面我所推荐过的浏览器的工作原理。下面是一些不错的文章可以帮你学习这一技术。

How to write your own Virtual DOM
Write your Virtual DOM 2: Props & Events
How Virtual-DOM and diffing works in React
The Inner Workings Of Virtual DOM
深度剖析：如何实现一个 Virtual DOM 算法
以及两个 Vitual-DOM 实现供你参考：
- Matt-Esch/Virtual-DOM
- Maquette

网络协议

High Performance Browser Networking ，本书是谷歌公司高性能团队核心成员的权威之作，堪称实战经验与规范解读完美结合的产物。本书目标是涵盖 Web 开发者技术体系中应该掌握的所有网络及性能优化知识。

全书以性能优化为主线，从 TCP、UDP 和 TLS 协议讲起，解释了如何针对这几种协议和基础设施来优化应用。然后深入探讨了无线和移动网络的工作机制。最后，揭示了 HTTP 协议的底层细节，同时详细介绍了 HTTP 2.0、 XHR、SSE、WebSocket、WebRTC 和 DataChannel 等现代浏览器新增的能力。
另外，HTTP/2也是 HTTP 的一个新的协议，于 2015 年被批准通过，现在基本上所有的主流浏览器都默认启用这个协议。所以，你有必要学习一下这个协议。下面相关的学习资源。
- Gitbook - HTTP/2 详解
- http2 explained（中译版）
- HTTP/2 for a Faster Web
- Nginx HTTP/2 白皮书
- HTTP/2 的两个 RFC：
  - RFC 7540 - Hypertext Transfer Protocol Version 2 (HTTP/2) ，HTTP/2 的协议本身。
  - RFC 7541 - HPACK: Header Compression for HTTP/2 ，HTTP/2 的压缩算法。
新的 HTML5 支持 WebSocket，所以，这也是你要学的一个重要协议。
- HTML5 WebSocket: A Quantum Leap in Scalability for the Web ，这篇文章比较了 HTTP 的几种链接方式，Polling、Long Polling 和 Streaming，并引入了终级解决方案 WebSocket。你知道的，了解一个技术的缘由是非常重要的。
- StackOverflow: My Understanding of HTTP Polling, Long Polling, HTTP Streaming and WebSockets ，这是 StackOverflow 上的一个 HTTP 各种链接方式的比较，也可以让你有所认识。
- An introduction to Websockets ，一个 WebSocket 的简单教程。
- Awesome Websockets ，GitHub 的 Awesome 资源列表。
- 一些和 WebSocket 相关的想法，可以开阔你的思路：

小结

总结一下今天的内容。我一直认为学习任何知识都要从基础出发，所以今天我主要讲述了 HTML5、CSS3 和 JavaScript（ES6）这三大基础核心，给出了大量的图书、文章以及其他一些相关的学习资源。之后，我建议你学习浏览器的工作原理和网络协议相关的内容。我认为，掌握这些原理也是学好前端知识的前提和基础。值得花时间，好好学习消化。

下篇文章中，我们将讲讲如何做前端性能优化，并推荐一些好用的前端框架。敬请期待。

程序员练级攻略（2018）：前端性能优化和框架

image.png

前端性能优化

首先是推荐几本前端性能优化方面的图书。

Web Performance in Action ，这本书目前国内没有卖的。你可以看电子版本，我觉得是一本很不错的书，其中有 CSS、图片、字体、JavaScript 性能调优等。
Designing for Performance ，这本在线的电子书很不错，其中讲了很多网页优化的技术和相关的工具，可以让你对整体网页性能优化有所了解。
High Performance JavaScript ，这本书在国内可以买到，能让你了解如何提升各方面的性能，包括代码的加载、运行、DOM 交互、页面生存周期等。雅虎的前端工程师尼古拉斯·扎卡斯（Nicholas C. Zakas）和其他五位 JavaScript 专家介绍了页面代码加载的最佳方法和编程技巧，来帮助你编写更为高效和快速的代码。你还会了解到构建和部署文件到生产环境的最佳实践，以及有助于定位线上问题的工具。
High Performance Web Sites: Essential Knowledge for Front-End Engineers ，这本书国内也有卖，翻译版为《高性能网站建设指南：前端工程师技能精髓》。作者给出了 14 条具体的优化原则，每一条原则都配以范例佐证，并提供了在线支持。

全书内容丰富，主要包括减少 HTTP 请求、Edge Computing 技术、Expires Header 技术、gzip 组件、CSS 和 JavaScript 最佳实践、主页内联、Domain 最小化、JavaScript 优化、避免重定向的技巧、删除重复 JavaScript 的技巧、关闭 ETags 的技巧、Ajax 缓存技术和最小化技术等。
除了上面这几本书之外，Google 的 Web Fundamentals 里的 Performance 这一章节也有很多非常不错的知识和经验。

接下来是一些最佳实践性的文档。

Browser Diet ，前端权威性能指南（中文版）。这是一群为大型站点工作的专家们建立的一份前端性能的工作指南。
PageSpeed Insights Rules ，谷歌给的一份性能指南和最佳实践。
Best Practices for Speeding Up Your Web Site ，雅虎公司给的一份 7 个分类共 35 个最佳实践的文档。

接下来，重点推荐一个性能优化的案例学习网站 WPO Stats 。WPO 是 Web Performance Optimization 的缩写，这个网站上有很多很不错的性能优化的案例分享，一定可以帮助你很多。

然后是一些文章和案例。

A Simple Performance Comparison of HTTPS, SPDY and HTTP/2 ，这是一篇比较浏览器的 HTTPS、SPDY 和 HTTP/2 性能的文章，除了比较之外，还可以让你了解一些技术细节。
7 Tips for Faster HTTP/2 Performance ，对于 HTTP/2 来说，Nginx 公司给出的 7 个增加其性能的小提示。
Reducing Slack’s memory footprint ，Slack 团队减少内存使用量的实践。
Pinterest: Driving user growth with performance improvements ，Pinterest 关于性能调优的一些分享，其中包括了前后端的一些性能调优实践。其实也是一些比较通用的玩法，这篇文章主要是想让前端的同学了解一下如何做整体的性能调优。
10 JavaScript Performance Boosting Tips ，10 个提高 JavaScript 运行效率的小提示，挺有用的。
17 Statistics to Sell Web Performance Optimization ，这个网页上收集了好些公司的 Web 性能优化的工程分享，都是非常有价值的。
Getting started with the Picture Element ，这篇文章讲述了 Responsive 布局所带来的一些负面的问题。主要是图像适配的问题，其中引出了一篇文章 "Native Responsive Images" ，值得一读。
Improve Page Load Times With DNS Prefetching ，这篇文章教了你一个如何降低 DNS 解析时间的小技术——DNS prefetching。
Jank Busting for Better Rendering Performance ，这是一篇 Google I/O 上的分享，关于前端动画渲染性能提升。
JavaScript Memory Profiling ，这是一篇谷歌官方教你如何使用 Chrome 的开发工具来分析 JavaScript 内存问题的文章。

接下来是一些性能工具。在线性能测试分析工具太多，这里只推荐比较权威的。

PageSpeed ，谷歌有一组 PageSpeed 工具来帮助你分析和优化网站的性能。Google 出品的，质量相当有保证。
YSlow ，雅虎的一个网页分析工具。
GTmetrix ，是一个将 PageSpeed 和 YSlow 合并起来的一个网页分析工具，并且加上一些 Page load 或是其它的一些分析。也是一个很不错的分析工具。
Awesome WPO ，在 GitHub 上的这个 Awesome 中，你可以找到更多的性能优化工具和资源。

另外，中国的网络有各种问题（你懂的），所以，你不能使用 Google 共享的 JavaScript 链接来提速，你得用中国自己的。你可以到这里看看中国的共享库资源，Forget Google and Use These Hosted JavaScript Libraries in China 。

前端框架

接下来，要学习的是 Web 前端的几大框架。目前而言，前端社区有三大框架 Angular.js、React.js 和 Vue.js。我认为，React 和 Vue 更为强劲一些，所以，我这里只写和 React 和 Vue 相关的攻略。关于两者的比较，网上有好多文章。我这里推荐几篇我觉得还不错的，供你参考。

其实，比较这些框架的优缺点还有利弊并不是要比出个输赢，而是让你了解一下不同框架的优缺点。我觉得，这些框架都是可以学习的。而在我们生活工作中具体要用哪个框架，最好还是要有一些出发点，比如，你是为了找份好的工作，为了快速地搭一个网站，为了改造一个大规模的前端系统，还是纯粹地为了学习……

不同的目的会导致不同的决定。我并不希望上述的这些比较会让你进入 " 二选一 " 或是 " 三选一 " 的境地。我只是想通过这些文章让你知道这些框架的设计思路和实现原理，这些才是让你受益一辈子的事。

React.js 框架

下面先来学习一下 React.js 框架。

入门

React 学起来并不复杂，就看 React 官方教程和其文档就好了（ React 的中文教程）。

然后，下面的文章会带你了解一下 React.js 的基本原理。

All the fundamental React.js concepts ，这篇文章讲了所有的 React.js 的基本原理。
Learn React Fundamentals and Advanced Patterns ，这篇文章中有几个短视频，每个视频不超过 5 分钟，是学习 React 的一个很不错的地方。
Thinking in React，这篇文章将引导你完成使用 React 构建可搜索产品数据表的思考过程。

提高

学习一个技术最重要的是要学到其中的思想和方法。下面是一些我觉得学习 React 中最重要的东西。

状态，对于富客户端来说是非常麻烦也是坑最多的地方，这里有几篇文章你可以一读。
- Common React.js mistakes: Unneeded state ，React.js 编程的常见错误——不必要的状态。
- State is an Anti-Pattern ，关于如何做一个不错的组件的思考，很有帮助。
- Why Local Component State is a Trap ，一些关于 “Single state tree” 的想法。
- Thinking Statefully ，几个很不错的例子让你对声明式的有状态的技术有更好的理解。
- 传统上，解决 React 的状态问题一般用 Redux。在这里推荐 Tips to learn React + Redux in 2018 。Redux 是一个状态粘合组件，一般来说，我们会用 Redux 来做一些数据状态和其上层 Component 上的同步。这篇教程很不错。
- 最后是 "State Architecture Patterns in React " 系列文章，非常值得一读。
函数式编程。从 jQuery 过来的同学一定非常不习惯 React，而从 Java 等后端过来的程序员就会很习惯了。所以，我觉得 React 就是后端人员开发的，或者说是做函数式编程的人开发的。对此，你需要学习一下 JavaScript 函数式编程的东西。

这里推荐一本免费的电子书《Professor Frisby’s Mostly Adequate Guide to Functional Programming》，其中译版为《JS 函数式编程指南中文版》。

下面有几篇文章非常不错。前两篇和函数式编程有关的文章非常值得一读。后三篇是一些比较实用的函数式编程和 React 结合的文章。
设计相关。接下来是学习一些 React 的设计模式。React Pattern 是一个不错的学习 React 模式的地方。除此之外，还有如下的一些不错的文章也会对你很有帮助的。
实践和经验

还有一些不错的实践和经验。

资源列表

最后就是 React 的资源列表。

Awesome React ，这是一些 React 相关资源的列表，很大很全。
React/Redux Links ，这也是 React 相关的资源列表，与上面不一样的是，这个列表主要收集了大量的文章，其中讲述了很多 React 知识和技术，比上面的列表好很多。
React Rocks ，这个网站主要收集各种 React 的组件示例，可以让你大开眼界。

Vue.js 框架

Vue 可能是一个更符合前端工程师习惯的框架。不像 React.js 那样使用函数式编程方式，是后端程序员的思路。

通过文章 “Why 43% of Front-End Developers want to learn Vue.js” ，你可以看出其编程方式和 React 是大相径庭的，符合传统的前端开发的思维方式。
通过文章 Replacing jQuery With Vue.js: No Build Step Necessary ，我们可以看到，从 jQuery 是可以平滑过度到 Vue 的。
另外，我们可以通过 “10 things I love about Vue” ，了解 Vue 的一些比较优秀的特性。

最令人高兴的是，Vue 的作者是我的好朋友尤雨溪（Evan You），最近一次对他的采访 “Vue on 2018 - Interview with Evan You” 当中有很多故事以及对 Vue 的展望。（注意：Vue 是完全由其支持者和用户资助的，这意味着它更接近社区而不受大公司的控制。）

要学习 Vue 并不难，我认为上官网看文档（ Vue 官方文档（中文版）），照着搞一搞就可以很快上手了。Vue.js screencasts 是一个很不错的英文视频教程。

另外，推荐新手向：Vue 2.0 的建议学习顺序，这是 Vue 作者写的，所以有特殊意义。

Vue 的确比较简单，有 Web 开发经验的人上手也比较快，所以这里也不会像 React 那样给出很多的资料。下面是一些我觉得还不错的内容，推荐给你。

How not to Vue ，任何技术都有坑，了解 Vue 的短板，你就能扬长避短，就能用得更好。
Vue.js Component Communication Patterns
4 AJAX Patterns For Vue.js Apps
How To (Safely) Use A jQuery Plugin With Vue.js
7 Ways To Define A Component Template in Vue.js
Use Any Javascript Library With Vue.js
Dynamic and async components made easy with Vue.js

当然，最后一定还有 Awesome Vue ，Vue.js 里最为巨大最为优秀的资源列表。

小结

总结一下今天的内容。我先介绍的是前端性能优化方面的内容，推荐了图书、最佳实践性的文档、案例，以及一些在线性能测试分析工具。随后重点讲述了 React 和 Vue 两大前端框架，给出了大量的文章、教程和相关资源列表。我认为，React.js 使用函数式编程方式，更加符合后端程序员的思路，而 Vue 是更符合前端工程师习惯的框架。因此，两者比较起来，Vue 会更容易上手一些。

下篇文章，我们将讲述前端工程师的一个基本功——UI/UX 设计。敬请期待。

程序员练级攻略（2018）：UI/UX设计

image.png

上面的技术都讲完了，前端还有一个很重要的事就是设计。作为前端人员，我们有必要了解现在的一些知名且流行的设计语言或是一些设计规范或是设计方法，学习它们的设计思想和方法，有助于我们拓宽眼界、与时俱进。我并不觉得这些内容是设计师要学习的，如果你要成为一个前端程序员，那么学习这些设计上的东西可以让你有更好的成长空间。

对于学习设计的新手来说，推荐看看 7 steps to become a UI/UX designer ，这是一篇很不错的让新手入门的文章，非常具有指导性。首先，你得开始学习设计的一些原则和套路，如配色、平衡、排版、一致性等。还有用户体验的 4D 步骤——Discover、Define、Develop 和 Delivery。然后，开始到一些网站上找灵感。接下来，是到不同的网站上读各种文章和资源，开始学习使用设计工具，最后是找人拜师。此外，其中还链接了其它一些不错的文章、网站、博客和工具。我认为，这篇文章是一篇很不错的设计师从入门到精通的练级攻略。

虽然有这么一个速成的教程，但我觉得还是应该系统地学习一下，所以有了下面这些推荐。

图书和文章推荐

先推荐几本书。

Don’t Make Me Think ，这是我看的第一本和设计相关的书。这本书对我的影响也比较深远。这本书践行了自己的理论，整本书短小精悍，语言轻松诙谐，书中穿插大量色彩丰富的屏幕截图、趣味丛生的卡通插图以及包含大量信息的图表，使枯燥的设计原理变得平易近人。
Simple and Usable Web,Mobile,and Interaction Design ，中文版译名为《简约至上》。本书作者贾尔斯（Giles）有 20 多年交互式设计的探索与实践。提出了合理删除、分层组织、适时隐藏和巧妙转移这四个达成简约至上的终极策略，讲述了为什么应该站在主流用户一边，以及如何从他们的真实需求和期望出发，简化设计，提升易用性。
Designing with the Mind in Mind: Simple Guide to Understanding User Interface Design Rules ，中文版译名为《认知与设计：理解 UI 设计准则》。这本书语言清晰明了，将设计准则与其核心的认知学和感知科学高度统一起来，使得设计准则更容易在具体环境中得到应用。涵盖了交互计算机系统设计的方方面面，为交互系统设计提供了支持工程方法。不仅如此，这也是一本人类行为原理的入门书。
Designing Interfaces: Patterns for Effective Interaction Design ，中文版译名为《界面设计模式》。这本书开篇即总结了 " 与人有关 " 的各类问题，为读者提供了界面设计总体思路上的指引，帮助读者举一反三。然后，收集并分析了很多常用的界面设计模式，帮助读者理解在实现级别的各种常用解决方案，将它们灵活地运用到自己的设计中。

除了上面的这几本书，还有下面的这几篇文章也是很不错的，推荐一读。

The Psychology Principles Every UI/UX Designer Needs to Know ，这篇文章讲述了 6 大用户界面用户体验设计的心理学原则。
18 designers predict UI/UX trends for 2018，我倒不觉得这篇文章中所说的 UI/UX 是在 2018 年的趋势，我反而觉得，这 18 条原则是指导性的思想。
The Evolution of UI/UX Designers Into Product Designers ，这篇文章是 Adobe 公司的一篇博客，其在回顾整个产品设计的演化过程中有一些不错的思考和想法，并提供了一些方法论。

原子设计（Atomic Design）

在 2013 年网页设计师布拉德·弗罗斯特（Brad Frost）从化学中受到启发：原子（Atoms）结合在一起，形成分子（Molecules），进一步结合形成的生物体（Organisms）。布拉德将这个概念应用在界面设计中，我们的界面就是由一些基本的元素组成的。

乔希·杜克（Josh Duck）的 "HTML 元素周期表 " 完美阐述了我们所有的网站、App、企业内部网、hoobadyboops 等是如何由相同的 HTML 元素组成的。通过在大层面（页）和小层面（原子）同时思考界面，布拉德认为，可以利用原子设计建立一个适应组件的动态系统。

为什么要玩原子设计，我认为，这对程序员来说是非常好理解的，因为这就是代码模块化重用化的体现。于是，你就是要像搭积木一样开发和设计网页，当你把其模块化组件化了，也更容易规范整体的风格，而且容易维护……这些都意味着你可以更容易地维护你的代码。所以，这个方法论导致了 Web 组件化的玩法。这是设计中非常重要的方法论。

关于这个设计方法论，你可以阅读一下下面这几篇文章。

但是，真正权威的地方还是布拉德·弗罗斯特的电子书、博客和实验室，可以从中获取更多的信息。

电子书：Atomic Design by Brad Frost 是布拉德·弗罗斯特写的一本书。
博　客：Atomic Design 是布拉德·弗罗斯特的博客。
实验室：Pattern lab 是布拉德·弗罗斯特依照这个设计系统所建立的一套工具，可以前往 Pattern Lab 的 GitHub 来试试 Atomic design。

接下来是关于这个设计方法和 React.js 框架的几篇文章。

设计语言和设计系统

下面来介绍一下设计语言和设计系统。

Fluent Design System

Fluent Design System 中文翻译为流畅设计体系，是微软于 2017 年开发的设计语言。流畅设计是 Microsoft Design Language 2 的改版，其中包含为所有面向 Windows 10 设备和平台设计的软件中的设计和交互的指导原则。

该体系基于五个关键元素：光感、深度、动效、材质和缩放。新的设计语言包括更多对动效、深度及半透明效果的使用。过渡到流畅设计体系是一个长期项目，没有具体的完成目标，但是从创作者更新以来，新设计语言的元素已被融入到个别应用程序中。它将在未来的 Windows 10 秋季创作者更新中更广泛地使用，但微软也表示，该设计体系不会在秋季创作者更新内完成。

微软于 2017 年 5 月 11 日的 Microsoft Build 2017 开发者大会上公开了该设计体系。

What’s new and coming for Windows UI: XAML and composition ，从概念上讲了一下 Fluent Design System 的各个部分。
Introducing Fluent Design ，介绍了 Fluent Design System 的各个部分。

还有 Build 2018 上的一些微软的 YouTube 分享。

Material Design

Material Design 中文翻译为质感设计，或是材质设计、材料设计。这是由 Google 开发的设计语言。扩展于 Google Now 的 " 卡片 " 设计，Material Design 基于网格的布局、响应动画与过渡、填充、深度效果（如光线和阴影）。设计师马蒂亚斯·杜阿尔特（Matías Duarte）解释说：" 与真正的纸张不同，我们的数字材质可以智能地扩大和变形。材质具有实体的表面和边缘。接缝和阴影表明组件的含义。"Google 指出他们的新设计语言基于纸张和油墨。

Material Design 于 2014 年的 Google I/O 大会上发布（参看 Google I/O 2014 - Material witness: How Android material applications work）。其可借助 v7 appcompat 库用于 Android 2.1 及以上版本，几乎支持所有 2009 年以后制造的 Android 设备。随后，Material Design 扩展到 Google 的网络和移动产品阵列，提供一致的跨平台和应用程序体验。Google 还为第三方开发人员发布了 API，开发人员可将质感设计应用到他们的应用程序中。

除了到官网学习 Material Design，你还可以访问 Material Design 中文版来学习。

另外，Wikipedia 上有一张 Material Design 实现的比较表，供你参考。

下面是几个可供你使用的 Material UI 的工程实现。

Material Design Lite ，这是 Google 官方的框架，简单易用。
Materialize ，一组类似于 Bootstrap 的前端 UI 框架。
Material-UI 是基于 Google Material Design 的 React 组件实现。
MUI 是一个轻量级的 CSS 框架，遵循 Google 的 Material Design 设计方针。

其它公司

接下来再来推荐其它几家公司的设计语言。

苹果公司的设计指南，在这个网站有苹果的各种设备的设计规范和指导，一方面可以让你的 App 能和苹果的 UI 融合在一起，另一方面，你也可以从中看到苹果的审美和思维方式。
IBM 公司的设计语言，我们总觉得 IBM 公司是一家比较传统的没有新意的公司，但是并不是这样的。IBM 公司的这个设计语言的确比较出众。所以，在这里推荐一下。
Salesforce 公司的 Lightning Design System ，是在 Salesforce 生态系统中用于创建统一 UI 的设计模式、组件和指南的集合，是一个企业级的产品。
Facebook Design - What’s on our mind? ，Facebook 的设计师们收集的一系列的文章、视频和资源。很不错哦。

动画效果设计

我认为，要了解 Web 动画效果设计的第一步，最好的地方是 CodePen。这个网站不只是让人分享 HTML、CSS 和 JavaScript 代码的网站。其中也有很多分享样例都和动画效果有关。这个网站可以让你对动画效果有一些感性认识，当然还有代码供你参考。

接下来，我们要了解动画效果设计的一些方法。基本上来说，动画设计都会受 "动画的 12 项基本法则 " 的影响，这个方法论源自于迪士尼动画师奥利·约翰斯顿（Ollie Johnston）和弗兰克·托马斯（Frank Thomas）在 1981 年所出的《The Illusion of Life: Disney Animation》一书。这些法则已被普遍采用，至今仍与制作 3D 动画法则有关联。这里还有一篇文章 “Understand the 12 principles of animation” 是对这个法则的解读和理解。

除此之外，还有几个动画设计指南和相关文章供你参考和学习。

6 Animation Guidelines for UX Design。这是 Prototypr 公司的一个指南，其中主要指出，动画效果不是为了炫配，而是能让你的 UI/UX 能活起来，自然，不消耗时间，并且是生动故事型的动画效果。其中还推荐了如下几篇很不错的文章。
Designing Interface Animation ，这篇文章同样说明，任何一个小动画都是要讲一个微故事的，而且这些微故事会和你的品牌和产品理念相融合。动画会给人更深的印象，让人们更容易记住你。这篇文章主要是讲品牌动画。
Animation principles in motion design ，这篇文章有点像设计模式，给了一些动画效果的套路和演示。
Creating Usability with Motion: The UX in Motion Manifesto
Integrating Animation into a Design System
Great UI/UX Animations 是设计师丹尼尔（Daniel）收集的一些很不错的动画，可以给你一些灵感。
- Great UI/UX Animations 第一组
- Great UI/UX Animations 第二组

小结

总结一下今天的内容。我并不认为 UI/UX 设计这些内容只是设计师要学习的，如果你要成为一个前端程序员，那么学习这些设计上的东西可以让你有更好的成长空间。首先，我推荐了一些图书和文章，让你更好地了解经典的设计原则和指导思想。

然后介绍了原子设计，以及深入学习和理解这一设计方法论的图书、文章和其他相关资源。最后分享了当下主流和知名公司中在用的设计语言和设计系统，并给出了大量的学习资源，推荐了一些优秀设计的聚集地。相信通过学习这些内容，你在 UI/UX 设计方面不仅能收获方法，还能获得非常多的灵感。

下篇文章是程序员练级攻略 2018 版高手成长篇的最后一篇，我将推荐大量有价值的技术资源，这些内容将会为你后续的学习和成长提供很大的助力。敬请期待。

程序员练级攻略（2018）：技术资源集散地

image.png

个人技术博客

首先，我先推荐一些不错的个人技术博客。

Coding Horror ，这是杰夫·阿特伍德（Jeff Atwood）于 2004 年创办的博客，记录其在软件开发经历中的所思所想、点点滴滴。时至今日，该博客每天都有近 10 万人次的访问量，读者纷纷参与评论，各种观点与智慧在这里不断地激情碰撞。其博文选集在中国被翻译成《高效能程序员的修练》，在豆瓣上有 8.3 的高分。2008 年，他和 Joel Spolsky 联合创办了 StackOverflow 问答网站，为程序员在开发软件时节省了非常多的时间，并开启了 "StackOverflow Copy + Paste 式编程 "。
Joel on Software ，Joel Spolsky 的这个博客在全世界都有很多的读者和粉丝，其博文选集在中国被翻译成《软件随想录》在豆瓣上有 8.7 的高分。这是一本关于软件技术、人才、创业和企业管理的随想文集，作者以诙谐幽默的笔触将自己在软件行业的亲身感悟娓娓道来，观点新颖独特，简洁实用。
Clean Coder Blog ，这是编程大师是 "Bob 大叔 " 的博客，其真名叫 Robert C. Martin，世界级软件开发大师，设计模式和敏捷开发先驱，敏捷联盟首任主席，C++ Report 前主编，被后辈程序员尊称为 "Bob 大叔 "。其博文选集在中国被翻译成《程序员的职业素养》，在豆瓣上有 8.8 的高分。
Martin Fowler ，这是另外一个程序员大师，Martin 主要专注于面向对象分析与设计、统一建模语言、领域建模，以及敏捷软件开发方法，包括极限编程。他的《重构》、《分析模式》、《企业应用架构模式》、《领域特定语言》和《NoSQL 精粹》都是非常不错的书。在他的博客上有很多很多的编程和架构模式方法可以学习。
Paul Graham Essays ，美国著名程序员、风险投资家、博客和技术作家。《黑客与画家》是他的著作之一。2005 年他与人共同创建了著名的创业投资公司 Y Combinator，是初创公司最想被投的。他有几篇创业方面的文章都很经典，如果你想创业，可以读一读这几篇：《How to Get Startup Ideas》、《Do Things that Don’t Scale》、《Startup = Growth》。Paul Graham 的文章以清新自然，思想深刻见长。不仅可以跟 Paul Graham 学创业，学思考，学技术，更可以学习写作。
Steve Yegge ，Steve Yegge 这个人算是一个知名的程序员了，在 Amazon 呆过，现在在 Google，他的文章都是长篇大论，最知名的文章就是对 Amazon 和 Google 平台的吐槽，这篇文章引发了大家的讨论和议论。
Bruce Eckel’s Programming Blog ，《Thinking in Java》作者的博客，他之前的博客在 artima - Computing Thoughts 。
Herb Sutter ，C++ 大拿，C++ 标准委员会专家，微软软件架构师。《Exceptional C++ 》、《More Exceptional C++》、《Exceptional C++ Style》作者。
Eli Bendersky’s website ，这位老哥从 2003 年就一直写博客到今天，其中的文章都非常不错，原理型的，主要是 C、C++ 和 Python 相关的。里面有很多干货。
Peter Krumins’ blog ，这位老哥从 2007 年开始写博客，他博客里好玩的东西太多了。
Brendan D. Gregg ，Brendan 是 Netflix 的工程师，他的博客里有大量的非常非常不错的文章，基本上都是和 Linux 性能分析相关的，这是一个如果你要玩底层性能分析一定不能错过的博客。
Evan Klitzke ，主要讨论 Linux 和 C++ 相关的内容。
Julia Evans ，主要讨论 Linux debug 工具和网络相关的内容。
null program ，和 C/C++ 相关的一个博客。其中关于 Linux 系统调用、GPU、无锁编程、JIT 编译的一些文章非常不错。
Fluent {C++} ，博主是 Murex 的首席工程师，主要玩 C++，在这个博客里有很多很不错的 C++ 相关的文章。
Preshing on Programming ，这也是一个和 C/C++ 相关的博客，其中有很多的干货。
Programming is Terrible ，这个博客有很多强观点的文章，主要是软件开发中的一些教训。
Accidentally Quadratic ，姑且翻译成事故二次方，这里有好些非常有趣的文章。
Hacker Noon ，这是一个一堆人在写的博客，里面有很多质量很高的文章。

其实还有很多不错的博客，不过，现在国外不错的博客都在一个叫 Medium 的网站，我也发现我 Google 很多东西时都会到这个网站上。这个网站上的内容不只有技术的，还有很多很多其他方面的内容，比如文化、艺术、科学等等。这个网站就是一个博客发布系统，其是由 Twitter 联合创始人埃文·克拉克·威廉姆斯（Evan Clark Williams）和克里斯多福·艾萨克·比兹·斯通（Christopher Isaac Biz Stone）创办的，这两个人觉得 Twitter 上全是垃圾没有营养的信息。所以，创办了 Medium，这个平台上有专业和非专业的贡献者，亦有受雇的编者。

我已经感觉到，未来高质量的文章都会在 Medium 这个平台上出现，因为有一些公司的技术博客也在这个平台上发布了，比如 Netflix 的。所以，你有必要上到这个平台上 follow 一些作者、专栏和主题。

YouTube 技术频道

下面是我订阅的一些我认为还不错的和编程相关的频道，推荐给你。

Devoxx ，Devoxx 的频道，其中有各种很不错的技术分享。
Coding Tech ，也是个非常不错的编程频道，涵盖各种技术。
Amazon Web Services
Facebook Developers
Google Developer ，Google 公司的官方频道，其中包括 Google I/O 大会、教程、新闻、最佳实践、技巧分享……
Spring Developer ，Spring 的官方频道。
Microsoft Research
MIT 公开课
Stanford Online
Prof. Dr. Jens Dittrich ，一个德国教授开的一个关于数据库相关的频道，里面有很不错的数据库内在原理的内容。
Red Hat Summit ，RedHat 峰会频道，其中有很多和 Linux 相关的技术新闻和分享。
Open Networking Summit ，这是一个网络相关的频道。
Dan Van Boxel ，这是一个机器学习工程师折腾各种事的视频，挺有意思的。
The New Boston ，这个频道应该是前端开发工程师必去的地方，可能也是我所知道的最好的关于前端技术的 YouTube 频道。
Derek Banas 是一个教程型的频道，其中包括编程语言、游戏开发、Web 开发……我个人觉得是一个可以用来练英文听力的频道。
Java ，Java 相关的各种分享。
CppCon ，C++ 大会的一些视频，可以让你了解很多 C++ 最新功能和相关的动态。
Computerphile ，这个频道是布雷迪·哈伦（Brady Haran）运作的几个频道中的一个，在这个频道里你可以看到很多很有趣的技术方面的科普教程、资讯、见闻等，说得都非常地简单易懂，所以有大量的订阅用户。布雷迪是个对任何技术都很有热情的人，这个频道是关于计算机技术的。除此之外，他还运作Numberphile（数学）、Periodic Videos（化学）、Sixty Symbols（物理）、Deep Sky Videos（天文）等有众多阅人数的频道。如果你喜欢，你都可以一一订阅，感觉就是一个个人版的 Discovery。
关于安全，有如下四个频道你可以订阅一下：
- DEFCONConference ，defcon.org 的官方频道。
- CCCen ，Chaos Computer Club。
- RSA Conference ，RSA Conference。
- Black Hat - Black Hat Conference。

各大公司技术博客

细心的你一定会发现这份攻略中的很多推荐文章都来自于各个公司的技术团队的博客。是的，跟随这些公司的博客，你不但可以看到这些公司的工程技术，还能掌握到一些技术方向和趋势。

下面是 Airbnb、AWS、Cloudera、Dropbox、Facebook、Google 等各个公司的技术博客列表。

论文

要想将技术研究得精深，论文是必不可少的。那要如何读论文呢？

如何读论文

下面有几篇文章，教你一些读论文的方法，非常不错。

论文集散地

要成长为一个高手，论文是你一定要读的。下面是一些非常不错的计算机方面的论文集散地。

2 Minute Papers ，这是一个 YouTube 的频道，其会给出一些非常不错的和计算机相关的论文介绍，让你了解目前最有意思的一些科学突破，每次两分钟左右。
Best Paper Awards in Computer Science ，从 1996 年以来，获奖的计算机科学方面的论文收集。
Google Scholar ，Google 学术搜索（英语：Google Scholar）是一个可以免费搜索学术文章的网络搜索引擎，由计算机专家阿努拉格·阿查里雅（Anurag Acharya）开发。2004 年 11 月，Google 第一次发布了 Google 学术搜索的试用版。该项索引包括了世界上绝大部分出版的学术期刊。
Facebook ，Facebook 公司的论文。
Research at Google ，Google 发布一些论文。
Microsoft Research ，微软发布的论文。
MIT’s Artificial Intelligence Lab Publications ，MIT 和人工智能相关的论文。
MIT’s Distributed System’s Reading Group ，MIT 和分布式系统相关的论文。
arXiv Paper Repository ，arXiv 是一个收集物理学、数学、计算机科学与生物学的论文预印本的网站，始于 1991 年 8 月 14 日。截至 2008 年 10 月，arXiv.org 已收集超过 50 万篇预印本。至 2014 年底，藏量达到 1 百万篇。

在 2014 年时，约以每月 8000 篇的速度增加。arXiv 的存在是造就科学出版业中所谓开放获取运动的因素之一。现今的一些数学家及科学家习惯先将其论文上传至 arXiv.org，再提交予专业的学术期刊。这个趋势对传统学术期刊的经营模式造成了可观的冲击。
SciRate ，arXiv 上的论文太多，所以，SciRate 索引了 arXiv 上的一些好评的论文，并供大家评论和打分。（开源代码。）
cat-v.org ，这个网站，不只有论文，还有技术手册或是一些有意思的文章，包括一些历史资料什么的。
Usenix: Best Papers ，Usenix 上推荐的最佳论文。
The Morning Paper ，该博客会每天推送一篇论文，特别棒。
Lobste.rs tagged as PDF ，Lobsters 是一个聚焦于技术的社区，主要是链接聚合和对话题进行讨论。其中的 PDF 分类可以认为也是一个论文的集散地。
Papers We Love ，GitHub 上的一个近 3 万颗星的计算机科学方面的论文社区。

小结

总结一下今天的内容。这篇文章我主要跟你分享了一些好的学习资源，帮你开拓眼界，为后续学习夯实基础。

首先，我推荐了 Coding Horror、Joel on Software、Clean Coder Blog、Martin Fowler、Paul Graham Essays 等多个知名的个人技术博客。然后分享了一些我订阅的我认为还不错的和编程相关的 YouTube 频道，比如 Coding Tech、Amazon Web Services、Facebook Developers、Google Developer 等。

随后是 Airbnb、AWS、Cloudera、Dropbox、Facebook、Google 等各个公司的技术博客，跟随这些公司的博客，你不但可以看到这些公司的工程技术，还能掌握到一些技术方向和趋势。最后，想成长为一个高手，论文是一定要读的。所以，我给出了一个非常不错的计算机方面的论文集散地，并推荐了一些学习资源来教你如何读这些论文。

我一直认为，学习需要自我驱动，要学会自己 " 找食物 "，而不是 " 等着喂 "。程序员练级攻略 2018 版到今天就全部更新完成了，但我认为，这其实只是技术练级的起点，还有很多知识和技术，需要我们不断地去探索和发现。加油，我能做到的，你一定也可以做到。

【修炼】02-程序员练级攻略（2018）-part02-2018

程序员练级攻略（2018）：分布式架构入门

分布式架构入门

分布式理论

小结

程序员练级攻略（2018）：分布式架构经典图书和论文

经典图书

经典论文

分布式事务

Paxos 一致性算法

Raft 一致性算法

Gossip 一致性算法

分布式存储和数据库

分布式消息系统

日志和数据

分布式监控和跟踪

数据分析

与编程相关的论文

其它的分布式论文阅读列表

小结

程序员练级攻略（2018）：分布式架构工程设计

设计模式

设计与工程实践

分布式系统的故障测试

弹性伸缩

一致性哈希

数据库分布式

缓存

消息队列

关于日志方面

关于性能方面

关于搜索方面

各公司的架构实践

小结

程序员练级攻略（2018）：微服务

微服务架构

微服务和 SOA

设计模式和最佳实践

相关资源

小结

程序员练级攻略（2018）：容器化和自动化运维

Docker

Kubernetes

小结

下篇文章，我们将学习机器学习和人工智能方面的内容。敬请期待。

程序员练级攻略（2018）：机器学习和人工智能

基本原理简介

相关课程

相关图书

相关文章

相关算法

相关资源

小结

程序员练级攻略（2018）：前端基础和底层原理

HTML5

CSS

JavaScript

浏览器原理

网络协议

小结

下篇文章中，我们将讲讲如何做前端性能优化，并推荐一些好用的前端框架。敬请期待。

程序员练级攻略（2018）：前端性能优化和框架

前端性能优化

前端框架

React.js 框架

Vue.js 框架

小结

程序员练级攻略（2018）：UI/UX设计

图书和文章推荐

原子设计（Atomic Design）

设计语言和设计系统

Fluent Design System

Material Design

其它公司

动画效果设计

相关资源

文章资源

设计收集

小结

程序员练级攻略（2018）：技术资源集散地