MongoDB实现备份紧缩的方法教程

背景及原理                                        

数据库的备份是灾害恢复的最后一道屏障，不管甚么类型的数据库都需要设置数据库备份，MongoDB也不例外。MongoDB 3.0 后 ，数据库可以采取Wiredtiger存储引擎后（3.2 版本默许），在此环境下通过mongodump 备份后，产生的备份文件要远大于数据存储文件的大小。另外，一般MongoDB存储的数据量比较大，备份文件也比较大，占用了很多磁盘空间。所以，研究怎么实现MongoDB备份紧缩很有必要。

上图是履行命令 db.stats() 查看某数据库的信息。

备份文件的大小通常是dataSize的大小，所以我们希望紧缩备份，可以到达storageSize 或更小。

一般的备份思路是先备份，后对备份文件进行紧缩。之前，我们采取的就是这类方式，例如主要紧缩命令以下

tar -cf - ${targetpath}/${nowtime} | pigz -p 10 > ${targetpath}/${nowtime}.tgz

（命令解释： targetpath}/${nowtime 为待紧缩的备份文件；pigz 是Linux紧缩神器，可并行紧缩；-p是指定cpu的核数。）

但是这类方式，生成备份文件的进程中或者容易构成磁盘性能压力和空间压力。下图为我们某台Server 采取先备份后紧缩方式，构成的磁盘可用空间变化。

真正希望的是在备份的同时进行紧缩，这样可用空间就比较安稳了。在MongoDB 3.2 中 引入了一种紧缩式备份【此mongodb版本一定要不低于3.2】。可使用gzip进行紧缩。这是通过在mongodump和mongorestore中引入一个新的指令行选项“- -gzip”实现的。

紧缩可用于目录和归档模型下创建的备份，紧缩还可以减少磁盘空间使用。

测试

测试环境：

Step 1 紧缩式备份的命令：

./mongodump --host 172.X.X.245 --port 17219 -u 用户名 -p "密码" --gzip --authenticationDatabase "admin" --out /data/mongodb_back

备份后文件的大小，97M

这时候候，查看备份文件的格式都变成了.gz的格式

Step 2 将备份文件copy至远程机器上，进行还原：

以下命令是将在172.X.X.246，要求是将文件从X.245 copy至本地

scp -r root@172.X.X.245:/data/mongodb_back/QQ_DingDing

step 3 履行还原的命令

履行的命令

./mongorestore --host 172.X.X.246 --port 17218 -d QQ_DingDing -u 用户名 -p "密码" --gzip --authenticationDatabase "admin" /data/mongodb_back/QQ_DingDing

还原后登录MongoDB，履行show dbs，查看此时 数据大小为500M。

补充说明 

(1)    如果不采取紧缩式的备份，备份后的文件会是多大呢？备份命令 ：

./mongodump --host 172.X.X.245 --port 17219 -u 用户名 -p "密码" --authenticationDatabase "admin" --out /data/mongodb_back2

查看此种方法备份后的文件大小–1.5G。

以此QQ_DingDing数据库为例，其紧缩率为（文件紧缩后的大小与紧缩前的大小之比）：97M/1.5G=97/1536=6.3%

(2)   这类紧缩备份的方式的是不是带来一些弊端：例如备份时间增长？（恢复时间增加？，请自测一下试试，嘻嘻 @@@）

以 某归档备份库所在实例为例（storageSize 150G，dataSize 600G ）

采取 先备份后紧缩的方式耗时1小时55分钟

采取紧缩式备份（指定–gzip参数）的方式耗时 2小时33分钟

产生的备份文件大小基本相等，紧缩式备份方式产生的备份文件略小

所以 紧缩式备份会致使备份时间增长。

但从空间使用的角度来说，我们依然建议大家使用紧缩式备份，其紧缩比非常高（测试案例的紧缩比6.3%）。

附：定时清除，保存7天的纪录

#!/bin/bash
targetpath='/backup/mongobak'
nowtime=$(date -d '⑺ days' "+%Y%m%d")
if [ -d "${targetpath}/${nowtime}/" ]
then
rm -rf "${targetpath}/${nowtime}/"
echo "=======${targetpath}/${nowtime}/===删除终了=="
fi
echo "===$nowtime ==="

总结

本篇文章到此结束，如果您有相关技术方面疑问可以联系我们技术人员远程解决，感谢大家支持本站！