Hadoop第一天学习目标
2016-04-20 本文已影响73人
d1450eb71426
并发:1.多线程同事访问一个一个对象或者文件,用syncnized,lock 这个接口的具体实现readlock,读与读不互斥,读与写互斥,写于写不互斥,两个对比:lock可控,lock(),unlock();
2.hdfs的上传和下载原理,
3.ssh原理第一天08
1.一台机器可以有一个namenode多个datanode。这是伪分布式,需要配置
2.上传文件到hdfs过程:client和namenode就行rpc通信获取存储位置,client找到相应的datanode地址,通过http协议写数据,datanode写一块就和namenode申请一块(如果某一块数据错误,可以根据偏移量),写的时候分块。datanode以流水线的方式写副本水平传递
3.namenode的metadata数据内存保存一份,磁盘存一份
4.判读block是否损坏,用原来和现在的校验和对比
5.元数据就是对数据的描述
6.namenode维护文件目录树 ,有metadata存内存,fsimage,edits存磁盘
7hdfs下载过程源码35