MongoDB 备份与恢复
2019-12-26 本文已影响0人
唯爱熊
mongodb 备份与恢复
一.工具介绍
mongoexport/mongoimport
mongodump/mongorestore
二.备份工具区别
#应用场景总结:
mongoexport/mongoimport:json csv
1、异构平台迁移 mysql <---> mongodb
2、同平台，跨大版本：mongodb 2 ----> mongodb 3
mongodump/mongorestore
日常备份恢复时使用.
三.mongoexport/mongoimport工具参数说明与使用
3.1导出工具mongoexport
mongoexport具体用法如下所示：
$ mongoexport --help
参数说明：
-h:指明数据库宿主机的IP
-u:指明数据库的用户名
-p:指明数据库的密码
-d:指明数据库的名字
-c:指明collection的名字
-f:指明要导出那些列
-o:指明到要导出的文件名
-q:指明导出数据的过滤条件
--authenticationDatabase admin
1.单表备份至json格式
mongoexport -uroot -proot123 --port 27017 --authenticationDatabase admin -d test -c inventory -o /data/inventory.json
注：备份文件的名字可以自定义，默认导出了JSON格式的数据。
2. 单表备份至csv格式
如果我们需要导出CSV格式的数据，则需要使用----type=csv参数：
mongoexport -uroot -proot123 --port 27017 --authenticationDatabase admin -d test -c user_info --type=csv -f uid,name,age,date -o /data/user_info.csv
3.2.导入工具mongoimport
$ mongoimport --help
参数说明：
-h:指明数据库宿主机的IP
-u:指明数据库的用户名
-p:指明数据库的密码
-d:指明数据库的名字
-c:指明collection的名字
-f:指明要导入那些列
-j, --numInsertionWorkers=<number> number of insert operations to run concurrently (defaults to 1)
//并行
数据恢复:
1.恢复json格式表数据到log1
mongoimport -uroot -p123456 --port 27017 --authenticationDatabase admin -d log -c log /mongodb/log.json
2.恢复csv格式的文件到log2
上面演示的是导入JSON格式的文件中的内容，如果要导入CSV格式文件中的内容，则需要通过--type参数指定导入格式，具体如下所示：
错误的恢复
注意：
（1）csv格式的文件头行，有列名字
mongoimport -uroot -p123456 --port 27017 --authenticationDatabase admin -d tets -c user-info --type=csv --headerline --file /data/log.csv
（2）csv格式的文件头行，没有列名字
mongoimport -uroot -p123456 --port 27017 --authenticationDatabase admin -d test -c user_info --type=csv -f id,name,age,date --file /data/user_info.csv
--headerline:指明第一行是列名，不需要导入。
3.3.异构平台迁移案例
mysql -----> mongodb
world数据库下city表进行导出，导入到mongodb
（1）mysql开启安全路径
vim /etc/my.cnf --->添加以下配置
secure-file-priv=/tmp
--重启数据库生效
/etc/init.d/mysqld restart
（2）导出mysql的city表数据
select * from world.city into outfile '/tmp/city.csv' fields terminated by ',';
（3）处理备份文件
desc world.city
ID | int(11) | NO | PRI | NULL | auto_increment |
| Name | char(35) | NO | | | |
| CountryCode | char(3) | NO | MUL | | |
| District | char(20) | NO | | | |
| Population
[root@mongodb01 ~]# vim /tmp/city.csv ----> 添加第一行列名信息
ID,Name,CountryCode,District,Population
(4)在mongodb中导入备份
mongoimport --port 27017 --authenticationDatabase admin -d world -c city --type=csv -f ID,Name,CountryCode,District,Population --file /tmp/city1.csv
use world
db.city.find({CountryCode:"CHN"});
-------------
world共100张表，全部迁移到mongodb
select table_name ,group_concat(column_name) from columns where table_schema='world' group by table_name;
select * from world.city into outfile '/tmp/world_city.csv' fields terminated by ',';
select concat("select * from ",table_schema,".",table_name ," into outfile '/tmp/",table_schema,"_",table_name,".csv' fields terminated by ',';")
from information_schema.tables where table_schema ='world';
mysql> select concat("select * from ",table_schema,".",table_name ," into outfile '/tmp/",table_schema,"_",table_name,".csv' fields terminated by ',';") from information_schema.tables where table_schema ='world';
+--------------------------------------------------------------------------------------------------------------------------------------------+
| concat("select * from ",table_schema,".",table_name ," into outfile '/tmp/",table_schema,"_",table_name,".csv' fields terminated by ',';") |
+--------------------------------------------------------------------------------------------------------------------------------------------+
| select * from world.city into outfile '/tmp/world_city.csv' fields terminated by ','; |
| select * from world.country into outfile '/tmp/world_country.csv' fields terminated by ','; |
| select * from world.countrylanguage into outfile '/tmp/world_countrylanguage.csv' fields terminated by ','; |
+--------------------------------------------------------------------------------------------------------------------------------------------+
3 rows in set (0.00 sec)
导入：
提示，使用infomation_schema.columns + information_schema.tables
mysql导出csv：
select * from test_info
into outfile '/tmp/test.csv'
fields terminated by ',' ------字段间以,号分隔
optionally enclosed by '"' ------字段用"号括起
escaped by '"' ------字段中使用的转义符为"
lines terminated by '\r\n'; ------行以\r\n结束
mysql导入csv：
load data infile '/tmp/test.csv'
into table test_info
fields terminated by ','
optionally enclosed by '"'
escaped by '"'
lines terminated by '\r\n';
四.mongodump和mongorestore
1.介绍
mongodump能够在Mongodb运行时进行备份，它的工作原理是对运行的Mongodb做查询，然后将所有查到的文档写入磁盘。
但是存在的问题时使用mongodump产生的备份不一定是数据库的实时快照，如果我们在备份时对数据库进行了写入操作，
则备份出来的文件可能不完全和Mongodb实时数据相等。另外在备份时可能会对其它客户端性能产生不利的影响。
2.mongodump用法
$ mongodump --help
参数说明：
-h:指明数据库宿主机的IP
-u:指明数据库的用户名
-p:指明数据库的密码
-d:指明数据库的名字
-c:指明collection的名字
-o:指明到要导出的文件名
-q:指明导出数据的过滤条件
-j, --numParallelCollections= number of collections to dump in parallel (4 by default)
--oplog 备份的同时备份oplog
3.mongodump和mongorestore基本使用
全库备份
[root@mongodb01 ~]# mkdir /data/backup
[root@mongodb01 ~]# mongodump -uroot -p123456 --port 27017 --authenticationDatabase admin -o /data/backup
备份world库
mongodump -uroot -p123456 --port 27017 --authenticationDatabase admin -d world -o /data/backup/
备份log库下的log集合
[root@mongodb01 ~]# mongodump -uroot -p123456 --port 27017 --authenticationDatabase admin -d log -c log -o /data/backup/
压缩备份
[root@mongodb01 ~]# mongodump -uroot -p123456 --port 27017 --authenticationDatabase admin -d log -o /mongodb/backup/ --gzip
[root@mongodb01 ~]# mongodump -uroot -p123456 --port 27017 --authenticationDatabase admin -o /data/backup/ --gzip
[root@mongodb01 ~]# mongodump -uroot -p123456 --port 27017 --authenticationDatabase admin -d world -c city -o /data/backup/ --gzip
恢复world库
[root@mongodb01 ~]# mongorestore -uroot -proot123 --port 27017 --authenticationDatabase admin -d world /data/backup/world
4.mongodump和mongorestore高级应用（--oplog）
1.oplog是什么？
oplog即操作记录，是副本集成员特有的集合，默认为固定大小。
他是副本集之间同步数据的关键设计。
应用端对数据的增加，删除，修改操作都会被记录在这个集合中。
2.oplog的运作
在配置副本集时，若未指定Oplog大小，则Oplog默认为数据文件所在硬盘容量的5%，但默认大小不会超过50G
若自定义大小则不受限制，只需要在配置文件里使用oplogSizeMB参数即可
注意：此参数仅在集群未初始化前配置有效，一旦Oplog创建完集合，则再修改参数也无效
所以需要提前规划好数据写入的并发程度，如果设置的过小，可能导致还未同步到副本节点，oplog就已经满了
3.oplog的内容
oplog的内容会被记录在数据节点的local数据库中一个叫做oplog.rs的mongodb原生集合中。
操作命令：
use local
db.oplog.rs.findOne()
内容解释：
ts: 操作时间
h: 全局唯一标示
v: oplog版本
op: 操作类型
i: 插入
u: 更新
d: 删除
c: 执行指令
ns: 操作对象(集合)
o: 操作的内容
4.oplog的初始化
如果是新增副本集，或者同步延迟太久，同步源的oplog领先太多，则会进行初始化
在初始化时，节点会从另一个副本成员进行完整的数据复制，包含整个数据文件及oplog的复制
5.oplog的同步
节点在同步时，会对比自身与其他节点的状态，从而选择数据比自己更完整的节点作为数据源进行同步。
6.查看oplog信息
rs.printReplicationInfo()
在replica set中oplog是一个定容集合（capped collection），它的默认大小是磁盘空间的5%（可以通过--oplogSizeMB参数修改）.
位于local库的db.oplog.rs，有兴趣可以看看里面到底有些什么内容。
其中记录的是整个mongod实例一段时间内数据库的所有变更（插入/更新/删除）操作。
当空间用完时新记录自动覆盖最老的记录。
其覆盖范围被称作oplog时间窗口。需要注意的是，因为oplog是一个定容集合，
所以时间窗口能覆盖的范围会因为你单位时间内的更新次数不同而变化。
想要查看当前的oplog时间窗口预计值，可以使用以下命令：
[root@mongodb01 ~]# mongod -f /mongodb/28017/conf/mongod.conf
[root@mongodb01 ~]# mongod -f /mongodb/28018/conf/mongod.conf
[root@mongodb01 ~]# mongod -f /mongodb/28019/conf/mongod.conf
use local
db.oplog.rs.find().pretty()
"ts" : Timestamp(1553597844, 1),
"op" : "n"
"o" :
"i": insert
"u": update
"d": delete
"c": db cmd
test:PRIMARY> rs.printReplicationInfo()
configured oplog size: 1561.5615234375MB <--集合大小
log length start to end: 423849secs (117.74hrs) <--预计窗口覆盖时间
oplog first event time: Wed Sep 09 2015 17:39:50 GMT+0800 (CST)
oplog last event time: Mon Sep 14 2015 15:23:59 GMT+0800 (CST)
now: Mon Sep 14 2015 16:37:30 GMT+0800 (CST)
4.2oplog高级应用
（1）实现热备，在备份时使用--oplog选项
注：为了演示效果我们在备份过程，模拟数据插入
（2）准备测试数据
[mongod@mongodb01 ~]$ mongo --port 28018
use test
for(var i = 1 ;i < 100; i++) {
db.foo.insert({a:i});
}
my_repl:PRIMARY> db.oplog.rs.find({"op":"i"}).pretty()
oplog 配合mongodump实现热备
[root@mongodb01 ~]# mongodump --port 28018 --oplog -o /daba/backup
作用介绍：--oplog 会记录备份过程存下来中的数据变化。会以oplog.bson保
恢复
[root@mongodb01 ~]# mongorestore --port 28018 --oplogReplay /data/backu
4.3oplog模拟故障应用
背景：每天0点全备，oplog恢复窗口为48小时
某天，上午10点world.city 业务表被误删除。
恢复思路：
0、停应用
2、找测试库
3、恢复昨天晚上全备
4、截取全备之后到world.city误删除时间点的oplog，并恢复到测试库
5、将误删除表导出，恢复到生产库
恢复步骤：
模拟故障环境：
1、全备数据库
模拟原始数据
[root@mongodb01 ~]# mongo --port 28019
use backup
db.backup.insertMany( [
{ "id": 1},
{ "id": 2},
{ "id": 3},
]);
全备:
[root@mongodb01 ~]# rm -rf /data/backup/*
[root@mongodb01 ~]# mongodump --port 28019 --oplog -o /data/backup
--oplog功能:在备份同时,将备份过程中产生的日志进行备份
文件必须存放在/data/backup下,自动命令为oplog.bson
再次模拟数据
[root@mongodb01 ~]# mongo --port 28019
use backup
db.backup.insertMany( [
{ "id": 4},
{ "id": 5},
{ "id": 6},
]);
2、上午10点：删除wo库下的backup表
10:00时刻,误删除
db.backup.drop()
show tables;
3、备份现有的oplog.rs表
[root@mongodb01 ~]# mongodump --port 28018 -d local -c oplog.rs -o /data/backup
4、截取oplog并恢复到drop之前的位置
更合理的方法：登陆到原数据库
[root@mongodb01 ~]# mongo --port 28019
dba:PRIMARY> use local
dba:PRIMARY> db.oplog.rs.find({ns:"backup.$cmd"}).pretty();
{
"ts" : Timestamp(1553659908, 1),
"t" : NumberLong(2),
"h" : NumberLong("-7439981700218302504"),
"v" : 2,
"op" : "c",
"ns" : "backup.$cmd",
"ui" : UUID("db70fa45-edde-4945-ade3-747224745725"),
"wall" : ISODate("2019-03-27T04:11:48.890Z"),
"o" : {
"drop" : "backup"
}
}
说明：$cmd代表的是create或drop操作
获取到oplog误删除时间点位置:
"ts" : Timestamp(1553659908, 1)
5、恢复备份+应用oplog
[root@mongodb01 ~]# cd /data/backup/local/
[root@mongodb01 /data/backup/local]$ ls
oplog.rs.bson oplog.rs.metadata.json
[root@mongodb01 ~]# cp oplog.rs.bson ../oplog.bson
[root@mongodb01 ~]# rm -rf /data/backup/local/
[root@mongodb01 ~]# mongorestore --port 28019 --oplogReplay --oplogLimit "1553659908:1" --drop /data/backup/
