大数据存储系统学习
2020-01-06 本文已影响0人
MonroeHe
针对不同的数据形式(图,关系数据,key-value形数据),不同的数据规模。所以现在有多个数据库系统,包括SQL与No-SQL的。
一、针对文件系统,分为本地文件系统与分布式文件系统。
本地文件系统
针对单机而言,在应用程序与文件系统进行交互。
分布式文件系统
NFS: Client/Server 主要目的:从不同终端都可以访问同一个目录,多用户共享数据,集中管理
AFS 设计目标:一个服务器支持尽可能多的客户端,解决NFS polling的问题
GFS/HDFS:属于应用层文件系统,与POXIS文件系统的区别为,应用程序 HDFS Client连接才能使用
二、No-SQL数据库
Dynamo: Amazon开发
Gigtable/Hbase:Bigtable源于Google, Hbase是它的开源实现
Cassandra:Facebook 研发,后成为Apache开源项目
三、Zookeeper
开源分布式协调系统
四、文件格式
JSON:基础类型:string,number、true/false、 null Object:字典 Array
Google Protocol Buffers 定义文件格式
五、图存储系统
Neo4j