DB优化Hadoop

了解一下mongodb?

2019-07-21  本文已影响70人  OOM_Killer

mongoDB 是一个典型的NoSQL。文档形数据库(schema free),基于二进制JSON存储文档。
其高性能,高可用,直接加机器就可以解决扩展性的问题。和MySQL 一样,支持普通的CRUD,也支持复杂的聚合统计,全文检索,坐标检索(地理坐标检索)等功能。

Mongodb.png

1、基本用法

schema free 特性

无需提前定义字段,放什么就存什么。以Json格式存储。

{
        "_id" : ObjectId("5d91663bcf4e197a81a590"),
        "title" : "MongoDB",
        "description" : "MongoDB 是一个 Nosql 数据库",
        "by" : "简书",
        "url" : "http://www.runoob.com",
        "tags" : [
                "mongodb",
                "database",
                "NoSQL"
        ]
}
对比MySQL
MySQL MongoDB
database database
table collection
row document(bson)
column field
index index
table joins $lookup
primary key _id
group by aggregation pipeline
基本语句

基本用法可参考菜鸟教程 https://www.runoob.com/mongodb/mongodb-create-collection.html
这里专门提一下创建索引
语法中 Key 值为你要创建的索引字段,1 为指定按升序创建索引,如果你想按降序来创建索引指定为 -1 即可。

db.col.createIndex({"title":1})

createIndex() 方法中你也可以设置使用多个字段创建索引(关系型数据库中称作复合索引)。

db.col.createIndex({"title":1,"description":-1})
聚合操作
MySQL MongoDB
where $match
group by $group
having $match
select $project
order by $sort
limit $limt
sum $sum
count $sum

聚合的具体用法

>db.COLLECTION_NAME.aggregate(AGGREGATE_OPERATION)

集合中的数据

{
   _id: ObjectId(7df78ad8902c)
   title: 'MongoDB Overview', 
   description: 'MongoDB is no sql database',
   by_user: 'runoob.com',
   url: 'http://www.runoob.com',
   tags: ['mongodb', 'database', 'NoSQL'],
   likes: 100
},
{
   _id: ObjectId(7df78ad8902d)
   title: 'NoSQL Overview', 
   description: 'No sql database is very fast',
   by_user: 'runoob.com',
   url: 'http://www.runoob.com',
   tags: ['mongodb', 'database', 'NoSQL'],
   likes: 10
},
{
   _id: ObjectId(7df78ad8902e)
   title: 'Neo4j Overview', 
   description: 'Neo4j is no sql database',
   by_user: 'Neo4j',
   url: 'http://www.neo4j.com',
   tags: ['neo4j', 'database', 'NoSQL'],
   likes: 750
},

mongo 的查询 pipeline 流式操作

> db.mycol.aggregate([{$group : {_id : "$by_user", num_tutorial : {$sum : 1}}}])
{
   "result" : [
      {
         "_id" : "runoob.com",
         "num_tutorial" : 2
      },
      {
         "_id" : "Neo4j",
         "num_tutorial" : 1
      }
   ],
   "ok" : 1
}
>

其查询结果类似于mysql中的

select by_user, count(*) from mycol group by by_user

2、整体存储架构

Mongod架构
Replica Set 架构
分布式集群架构
sharding 架构

collection 分片

collection 被分片存储
collection 分片
按range 拆分chunk
按range 拆分chunk
shard的激活配置等

参考菜鸟教程
https://www.runoob.com/mongodb/mongodb-sharding.html

参考 https://docs.mongodb.com/manual/core/ranged-sharding/

上一篇下一篇

猜你喜欢

热点阅读