Go微服务+logrus+elasticsearch+kiban
2020-05-11 本文已影响0人
风洛神
一。elasticsearch Docker安装集群
- 版本7.6.2
- 拉取es镜像: 可能有点慢, 具体还没有找到解决方法
docker pull docker.elastic.co/elasticsearch/elasticsearch:7.6.2
- 编写docker-compose.yml文件
version: '2.2'
services:
#节点1
es01:
image: docker.elastic.co/elasticsearch/elasticsearch:7.6.2
container_name: es01
environment:
- node.name=es01
- cluster.name=es-docker-cluster
- discovery.seed_hosts=es02,es03
- cluster.initial_master_nodes=es01,es02
- bootstrap.memory_lock=true
- "ES_JAVA_OPTS=-Xms512m -Xmx512m"
ulimits:
memlock:
soft: -1
hard: -1
volumes:
#挂在数据文件和配置文件到宿主机
- /root/docker_service/elasticsearch/data/d01:/usr/share/elasticsearch/data
- /root/docker_service/elasticsearch/config/es01/config:/usr/share/elasticsearch/config
ports:
- 9200:9200
networks:
- elastic
restart: always
#节点2
es02:
image: docker.elastic.co/elasticsearch/elasticsearch:7.6.2
container_name: es02
environment:
- node.name=es02
- cluster.name=es-docker-cluster
- network.host=es02
- discovery.seed_hosts=es01,es03
- cluster.initial_master_nodes=es01,es02
- bootstrap.memory_lock=true
- "ES_JAVA_OPTS=-Xms512m -Xmx512m"
ulimits:
memlock:
soft: -1
hard: -1
volumes:
- /root/docker_service/elasticsearch/data/d02:/usr/share/elasticsearch/data
- /root/docker_service/elasticsearch/config/es02/config:/usr/share/elasticsearch/config
networks:
- elastic
restart: always
networks:
elastic:
driver: bridge
- 启动容器
docker-compose up -d
- 检测是否启动成功
curl 127.0.0.1:9200
- 遇到的坑
注：本人用的是虚拟机安装的centos7, 如果是生产环境的正式服务器，不一定会遇见下面的坑。
- 查看容器日志，出现一下错误。原因：安装的vm虚拟机分配的内存太小，我分配的是1G，改为4G，解决以下错误
OpenJDK 64-Bit Server VM warning: Option UseConcMarkSweepGC was deprecated in version 9.0 and will likely be removed in a future release
- 查看容器日志，出现一下错误。原因：挂在的宿主机目录权限不够，我直接暴力改为 chmod 777 xxx -R
ElasticsearchException[failed to bind service]; nested: AccessDeniedException[/usr/share/elasticsearch/data/nodes]
- 查看日志，出现一下错误。原因：docker容器拥有的虚拟存储太小，默认为65530，改为262144，可能需要重启服务器才能生效或者执行 /sbin/sysctl -p 指令。编辑/etc/sysctl.conf，文件尾添加：vm.max_map_count=262144
ERROR: [1] bootstrap checks failed
[1]: max virtual memory areas vm.max_map_count [65530] is too low, increase to at least [262144]
二。kibana可视化工具安装，不采用docker
- 下载7.6.2版本的，官网下载比较慢，可以通过国内加速网站下载
https://www.newbe.pro/Mirrors/Mirrors-Kibana/
- 修改kibana的配置文件， 配置文件在解压目录下的 config/kibana.yml，修改以下下配置
-
端口，host改为0.0.0.0可以提供外部访问
image.png
2.添加elasticsearch的ip和端口，可以添加多个，主要针对es的集群
image.png
3.修改中文风格界面
image.png
- 启动kibana
/解压目录/bin/kibana --allow-root #本人使用的是centos root账户，不添加 --allow-root启动不了
- 打开浏览器输入 http://ip:5601 就可以看到kibana界面了。
- 注：记得开启防火墙的5601端口
三。go 日志推送到elasticsearch示例代码
- 首先需要下载三个go代码的依赖包
#第一个：elastic客户端开发包
go get -u github.com/olivere/elastic/v7
#第二个：logrus开发包
go get -u github.com/sirupsen/logrus
#第三个：将logrus日志推送到elasticsearch插件，也成为hook钩子
go get -u gopkg.in/sohlich/elogrus.v7
*示例代码
package main
#包依赖
import (
"github.com/olivere/elastic/v7"
"github.com/sirupsen/logrus"
"gopkg.in/sohlich/elogrus.v7"
)
var log *logrus.Logger
func init() {
log = logrus.New() #创建logrus对象
log.Formatter = &logrus.JSONFormatter{} #设置logrus的日志格式为json
#创建elasticsearch客户端
client, err := elastic.NewClient(elastic.SetSniff(false),elastic.SetURL("http://192.168.6.128:9200"))
if err != nil {
log.Panic(err)
}
#将logrus和elastic绑定，localhost 是指定该程序执行时的ip
hook, err := elogrus.NewElasticHook(client, "localhost", log.Level, "mylog")
if err != nil {
log.Panic(err)
}
log.AddHook(hook)
}
func main() {
#日志
log.WithFields(logrus.Fields{}).Info("hello world")
log.WithFields(logrus.Fields{}).Info("A group of walrus emerges from the ocean")
select {}
}
- 执行代码: go run main.go
-
打开kibana可以看到已经有该日志
image.png
