学习笔记20160211
2016-02-19 本文已影响17人
张大眼
hadoop架构和原理讲的非常透彻的地方:https://hadoop.apache.org/docs/r1.0.4/cn/hdfs_design.html
这里提到的三种健壮性:Namenode出错, Datanode出错和网络割裂(network partitions)。是标准的分布式存储系统的运维稳定设计方案。值得借鉴。
但是里面提到的将应用靠近数据,而不是数据靠近应用的含义还不是很理解:
map/reduce 模型做到了这点,输入的(key,value)形式的数据经过一定规则map(排序)后再切分成小的数据库(reduce),并且是持久化到分布式文件系统中的,这也就是程序靠近数据的含义
hadoop暂时研究到这,对zookeeper也很好奇:
zookeeper的架构和之前了解的没多大区别:http://cailin.iteye.com/blog/2014486/
此外比较好奇里面投票的策略,是如何进行投票的?
zookeeper有两个状态,一个是同步状态,一个是选举状态,这两个状态时,都不能对外服务,之前并不知道同步状态。w