mongo(十六:监控)
mongodb监控可以通过直接使用官方工具或整合第三方平台实现,当然也可以自己编写程序脚本
• MongoDB Ops Manager
• Percona
• 通用监控平台
• 程序脚本
监控信息的来源:
• db.serverStatus()(主要)
• db.isMaster()(次要)
• mongostats 命令行工具(只有部分信息)
注意:db.serverStatus() 包含的监控信息是从上次开机到现在为止的累计数据,因此不能简单使用。
serverStatus() 主要信息
• connections: 关于连接数的信息;
• locks: 关于 MongoDB 使用的锁情况;
• network: 网络使用情况统计;
• opcounters: CRUD 的执行次数统计;
• repl: 复制集配置信息;
• wiredTiger: 包含大量 WirdTiger 执行情况的信息:
• block-manager: WT 数据块的读写情况;
• session: session 使用数量;
• concurrentTransactions: Ticket 使用情况;
• mem: 内存使用情况;
• metrics: 一系列性能指标统计信息;
https://docs.mongodb.com/manual/reference/command/serverStatus/
建议监控指标
mongo性能检测工具mongostat
Much of the output of serverStatus is also displayed dynamically by mongostat.
mongostat: 用于了解 MongoDB 运行状态的工具
https://www.applenice.net/2019/12/14/MongoDB-Notes-02/
https://pinocc.cn/2020/01/28/mongodb-%E6%80%A7%E8%83%BD%E5%88%86%E6%9E%90/
dirty: 仅仅针对WiredTiger引擎,脏数据字节的缓存百分比
used:仅仅针对WiredTiger引擎,正在使用中的缓存百分比
当used 远远大于dirty 工作集大小大于缓存大小,说明当前大批量数据写入,内存吃紧
https://zhuanlan.zhihu.com/p/370520050
image.png
问题诊断工具 - mongotop
总时间消耗 读时间消耗 写时间消耗
可以直观看到列表是耗时倒叙的,可以知道那张表最耗时,耗时原因是read还是write
Profiling
类似于MySQL的slow log, mongodb可以监控所有慢的以及不慢的查询。这个工具就是Profiling,该工具在运行的实例上收集有关MongoDB的 写操作,游标,数据库命令等,可以在数据库级别开启该工具,也可以在实例级别开启。该工具会把收集到的所有都写入到system.profile集合中,该集合是一个capped collection。Profiling功能肯定是会影响效率的,但是不太严重,原因是他使用的是system.profile 来记录,而system.profile 是一个capped collection, 这种collection 在操作上有一些限制和特点,但是效率更高。
MongoDB 支持 Capped Collection,一种固定大小的集合,当集合的大小达到指定大小时,新数据覆盖老数据,MongoDB Replica set 中的 oplog 就是 Capped Collection 类型。
查看级别 PRIMARY> db.getProfilingLevel()
级别说明:
0:关闭,不收集任何数据。
1:收集慢查询数据,默认是100毫秒。
2:收集所有数据
设置级别 PRIMARY> db.setProfilingLevel(2)
{ "was" : 1, "slowms" : 100, "ok" : 1 } #这里返回的是上一次的设置
查看profile信息:db.system.profile.find().limit(10).sort({ts:-1}).pretty()
- 如果发现 millis 值比较大,那么就需要作优化。
- 如果docsExamined数很大,或者接近记录总数(文档数),那么可能没有用到索引查询,而是全表扫描。
- 如果keysExamined数为0,也可能是没用索引。
- 结合 planSummary 中的显示,上例中是 "COLLSCAN, COLLSCAN" 确认是全表扫描
- 如果 keysExamined 值高于 nreturned 的值,说明数据库为了找到目标文档扫描了很多文档。这时可以考虑创建索引来提高效率。
- 索引的键值选择可以根据 query 中的输出参考,上例中 filter:包含了 jzrq和jglxfldm 并且按照RsId排序,所以我们的索引可以这么建: db.f10_2_8_3_jgcc.ensureindex({jzrq:1,jglxfldm:1,RsId:1})
https://www.cnblogs.com/chinesern/p/7427967.html
也可以配置Prometheus对mongo进行监控 https://www.jianshu.com/p/66ee2ed8cabb
db.currentOp()
currentOp: 这个命令可以查看当前系统所有的操作信息,包括 find insert update remove等
下面是剔除了无关命令以及部分字段的一条记录
通过currentOp可以方便地查看当前数据库有哪些命令执行有异常,从而针对性做出优化。当然,它还有一个用途,比如某个天气晴朗的好日子,一个新来的临时工在生产上执行了一条不可描述的语句,将整个数据库给阻塞住了,线上相关项目停摆,大量用户热火朝天开始拨出投诉电话,就在大家火急火燎地接待解释时,优雅的你,只是随手执行了一下这个语句:
db.killOp(99080)
很好,一切恢复正常,继续喝茶聊天。
https://www.huaweicloud.com/articles/12625764.html
默认情况下mongod进程可以支持65536个连接,可有时候不到这个连接数就连接失败,可以查看db.serverStatus().connections 和ulimit -a找原因