ELK简介
一、简介：
ELK是三个开源软件的缩写，分别表示：Elasticsearch , Logstash, Kibana
1、Elasticsearch是个开源分布式搜索引擎，提供搜集、分析、存储数据三大功能。
它的特点有：分布式，零配置，自动发现，索引自动分片，索引副本机制，restful风格接口，多数据源，自动搜索负载等。
2、Logstash 主要是用来日志的搜集、分析、过滤日志的工具，支持大量的数据获取方式。
一般工作方式为c/s架构，client端安装在需要收集日志的主机上，server端负责将收到的各节点日志进行过滤、修改等操作在一并发往elasticsearch上去。
3、Kibana可以为 Logstash 和 ElasticSearch 提供的日志分析友好的 Web 界面，可以帮助汇总、分析和搜索重要数据日志。
4、FileBeat，它是一个轻量级的日志收集处理工具(Agent)，Filebeat占用资源少，适合于在各个服务器上搜集日志后传输给Logstash，官方也推荐此工具。
二、环境准备
1、本地DNS解析
vim /etc/hosts
192.168.100.100 aaa
192.168.100.10 bbb
2、文件描述符
/etc/systemd/system.conf
/etc/systemd/user.conf
DefaultLimitNOFILE=65536
DefaultLimitNPROC=65536
3、时间同步
查看时间同步systemctl status chronyd
netstat -antup
修改时间同步配置文件
vim /etc/chrony.conf
注释server4行
添加主机
IP server 192.168.100.100
设置所有100网段都可以来我这同步时间
allow 192.168.100.0/24
设置共享
local stratum 10
启动systemctl restart chronyd
在192.168.100.10上操作
安装依赖yum -y install ntpdate
同步时间ntpdate 192.168.100.100
查看全路径which ntpdate
/usr/sbin/ntpdate
编写计划任务crontab –e
* * * * * /usr/sbin/ntpdate 192.168.100.100
查看是否成功systemctl status crond
查看是否成功tail -f /var/log/cron
三、ELASTICSEARCH
1、安装：
yum install -y java-1.8.0-openjdk
wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-6.4.0.rpm
rpm -ivh elasticsearch-6.4.0.rpm
2、配置
vim /etc/elasticsearch/elasticsearch.yml
cluster.name: ccc
node.name: aaa
network.host:192.168.100.100
http.port: 9200
discovery.zen.ping.unicast.hosts: ["aaa"]
启动：systemctl start elasticsearch
开机自启：systemctl enable elasticsearch
查看netstat -antup 看9200端口是否启动
查看内存free–m
http:// http://192.168.100.100:9200/
四、logstash
1、安装：
yum install java-1.8.0-openjdk.x86_64 -y
wget https://artifacts.elastic.co/downloads/logstash/logstash-6.4.0.rpm
rpm -ivh logstash-6.4.0.rpm
2、配置
搜集系统内核日志：chmod 644 /var/log/messages
vim /etc/logstash/conf.d/syslog.conf
input {
file {
path => "/var/log/messages"
type => "systemlog"
start_position => "beginning"
stat_interval => "2"
}
}
output {
elasticsearch {
hosts => ["192.168.100.100:9200"]
index => "logstash-systemlog-%{+YYYY.MM.dd}"
}
}
启动：systemctl start logstash
systemctl enable logstash
3、验证：curl -XGET 'localhost:9600/?pretty'
9600端口：API来检索有关Logstash的运行时指标
五、kibana
1、安装：
rpm -ivh kibana-6.4.0-x86_64.rpm
2、配置
vim /etc/kibana/kibana.yml
server.port: 5601
server.host: "192.168.100.100"
elasticsearch.url: "http://192.168.100.100:9200"
systemctl start kibana
systemctl enable kibana
3、验证
http://192.168.100.100:5601/status
4、nginx+kibana
yum安装nginx
启动nginx
拷贝一份监控logstash日志的文件用来修改成监控nginx文件
cp /etc/logstash/conf.d/syslog.conf /etc/logstash/conf.d/nginx.conf
Cd进去修改成监控nginx日志格式
cd /etc/logstash/conf.d/
vim nginx.conf
启动logstash
systemctl restart logstash
访问nginx给他添加访问日志
Yum -y install httpd
启动httpd
systemctl restart httpd
DOS攻击 100次
ab -n 100 -c 10 http://192.168.6.139/index.html
