大数据存储系统学习

2020-01-06  本文已影响0人  MonroeHe

针对不同的数据形式(图,关系数据,key-value形数据),不同的数据规模。所以现在有多个数据库系统,包括SQL与No-SQL的。

一、针对文件系统,分为本地文件系统与分布式文件系统。

本地文件系统

针对单机而言,在应用程序与文件系统进行交互。

分布式文件系统

NFS: Client/Server  主要目的:从不同终端都可以访问同一个目录,多用户共享数据,集中管理

AFS 设计目标:一个服务器支持尽可能多的客户端,解决NFS polling的问题

GFS/HDFS:属于应用层文件系统,与POXIS文件系统的区别为,应用程序 HDFS Client连接才能使用

二、No-SQL数据库

Dynamo: Amazon开发

Gigtable/Hbase:Bigtable源于Google, Hbase是它的开源实现

Cassandra:Facebook 研发,后成为Apache开源项目

三、Zookeeper

开源分布式协调系统

四、文件格式

JSON:基础类型:string,number、true/false、 null    Object:字典     Array

Google Protocol Buffers 定义文件格式

五、图存储系统

Neo4j

上一篇 下一篇

猜你喜欢

热点阅读