索引无法写入数据的原因排查

现象描述

数据经Storm处理写入ES, 反应测试环境elastic cluster无数据写入,特此进行排查！！！

日志追踪

查看Storm日志； 可以看到写入集群的错误信息如下：

ClusterBlockException[blocked by: [FORBIDDEN/12/index read-only / allow delete (api)];]

经过排查给出的解决方案是:

“index.blocks.read_only_allow_delete”: false 

但问题是什么原因导致的哪？

查看es index settings

经查看Es Index Settings:发现如下配置

“index.blocks.read_only_allow_delete”: true

意思是只读，不允许写入；但是该配置是人为添加还是系统内部更改导致的哪？

查看 ES 日志

查看Master日志：可以清晰看到； 磁盘空间不足

4:56:43[2019-05-23T20:56:43,156][WARN ][o.e.c.r.a.DiskThresholdMonitor] [master1] flood stage disk watermark [95%] exceeded on [X-sdwzO5SIaH-m_yCo6Mug][data2][/usr/share/elasticsearch/data/nodes/0] free: 2.4gb[4.9%], all indices on this node will marked read-only

Elastic Disk 占用达到 85%,会自动更新为只读状态

删除索引

删除部分索引,磁盘空间释放,但是配置并没有动态更改

手动更新配置

http://172.24.8.188:9200/mf_index*/_settings

{ 
"index.blocks.read_only_allow_delete": false 
}