elasticsearch入门到放弃之docker搭建

2019-07-02 本文已影响22人 zhaoyunxing

基于docker构建的代码地址:https://github.com/zhaoyunxing92/docker-case/tree/develop/elasticsearch 可以直接使用,我下面也是按照这个写的这个文档

为什么从搭建开始

在我的观念里elasticsearch是大数据的产物,所有很抵触只是作为边缘技术没有用心学过,但是上周五我的组员在它跟springboot整合的时候出现了问题.我就想在本地搭建一套集群还原他的问题,前后大概消耗了两天时间,于是我就想写出来以免后人再入我的坑,

单机版

docker-compose.yml

version: '3'
services:
  # elasticsearch
  elasticsearch:
    image: elasticsearch:6.5.4
    container_name: elasticsearch # docker启动后的名称
    privileged: true
    # restart: always  #出现异常自动重启
    ports:
      - 9200:9200
      - 9300:9300
    environment:
      cluster.name: elasticsearch  # es 名称

可以指定config文件运行,在下面集群里面我会写出来

docker运行

# --restart=always 可以根据个人所需添加
docker run -d --name elk -p 9200:9200 -p 9300:9300 --restart=always elasticsearch:6.5.4

docker-compose运行

docker-compose -f docker-compose.yml up -d

到这里单机版就很简单的结束了,我一起搭建skywalking的时候也就单机版运行结束了

集群版

这个是花费我时间最长的,主要是我对docker的网络架构一知半解导致的

es-cluster.yml配置

# 集群配置 伪集群
version: '3'
services:
  es1:
    image: elasticsearch:6.5.4
    container_name: es1 # docker启动后的名称
    network_mode: host # 公用主机的网络
    environment:
       #cluster.name: "elasticsearch"  # es 名称config配置了这里就不用重复了
       ES_JAVA_OPTS: "-Xms512m -Xmx512m"  # 自定内存
    volumes:
      - /data/es/es1/data:/usr/share/elasticsearch/data
      - /data/es/es1/logs:/usr/share/elasticsearch/logs
      - ./config/es1/elasticsearch.yml:/usr/share/elasticsearch/config/elasticsearch.yml
  es2:
    image: elasticsearch:6.5.4
    container_name: es2 # docker启动后的名称
    network_mode: host
    environment:
       #cluster.name: "elasticsearch"  # es 名称config配置了这里就不用重复了
       ES_JAVA_OPTS: "-Xms512m -Xmx512m"  # 自定内存
    volumes:
      - /data/es/es2/data:/usr/share/elasticsearch/data
      - /data/es/es2/logs:/usr/share/elasticsearch/logs
      - ./config/es2/elasticsearch.yml:/usr/share/elasticsearch/config/elasticsearch.yml
  es3:
    image: elasticsearch:6.5.4
    container_name: es3 # docker启动后的名称
    network_mode: host
    environment:
       #cluster.name: "elasticsearch"  # es 名称config配置了这里就不用重复了
       ES_JAVA_OPTS: "-Xms512m -Xmx512m"  # 自定内存
    volumes:
      - /data/es/es3/data:/usr/share/elasticsearch/data
      - /data/es/es3/logs:/usr/share/elasticsearch/logs
      - ./config/es3/elasticsearch.yml:/usr/share/elasticsearch/config/elasticsearch.yml

network_mode: host 这个很重要表示这三组都使用宿主机的网络,感兴趣的可以了解下docker的网络模式
container_name: es3 docker启动后的名称
volumes下面配置都是目录挂载,,值得注意的是你要关注下他们的权限,挂载的data目录必须是空的不然集群也会不成功
ES_JAVA_OPTS 指定jvm运行内存

master elasticsearch.yml配置

cluster.name: elastic  # 集群必须一样
node.name: node-data-1 # 节点名称必须不一样
node.master: true  # 表示主节点
node.data: true
http.port: 9201
transport.tcp.port: 9301
#network.bind_host: 0.0.0.0
network.host: 0.0.0.0
# 设置集群自动发现服务id集合
discovery.zen.ping.unicast.hosts: ["127.0.0.1:9301","127.0.0.1:9302","127.0.0.1:9303"]
discovery.zen.minimum_master_nodes: 1

# heald 插件使用
http.cors.enabled: true
http.cors.allow-origin: "*"
http.cors.allow-headers: Authorization,X-Requested-With,Content-Length,Content-Type
# 开启密码认证 xpack
xpack.security.enabled: true

cluster.name 集群的名称必须一致
node.name 节点名称必须不一样
node.master 是否主节点
http.port http端口这两个端口也是坑的地方,后面在跟springboot整合的时候我再说
transport.tcp.port tcp端口
discovery.zen.ping.unicast.hosts 集群的ip数据同步是通过tcp端口进行的

slave elasticsearch.yml配置

slave跟master的配置基本一致主要是node.master: false其他都一样,这里就不写了,你可以去看我github上的配置(elasticsearch/config/es2/elasticsearch.yml)

docker-compose启动

# -f 指定yml文件运行
docker-compose -f es-cluster.yml up -d

到这里集群版的也算是完成了

可能遇到的问题

挂载容器内部目录到物理机上出现 [0.001s][error][logging] Error opening log file 'logs/gc.log': Permission denied

这个是权限问题
```
# 给目录775权限
sudo chmod -R 775 /data/es/
# 修改文件归属者
sudo chown -R 1000:1000 /data/es/
```
java.lang.RuntimeException: can not run elasticsearch as root

es禁止root用户直接运行,切换用户就可以了,不过用docker好像没有出现
max virtual memory areas vm.max_map_count [65530] is too low, increase to at least [262144]

jvm 内存不够需要修改系统jvm内存
```
 vim /etc/sysctl.conf
 # 追加配置
 vm.max_map_count=655300
```
修改完后执行: sudo sysctl -p可以执行:more /proc/sys/vm/max_map_count验证下是否修改成功
failed to read [id:1, file:/usr/share/elasticsearch/data/nodes/0/_state/node-1.st]

挂载的宿主目录文件加不是空导致,清空即可
java.lang.OutOfMemoryError: Java heap space (oom和gc等这类问题我电脑无法还原就弄这个oom说明问题吧)

jvm内存设置的小了修改 ES_JAVA_OPTS参数即可
docker启动了但是不能正常访问或者只能本地访问,另外在用网段的电脑不能访问

这个主要是docker网络模式的问题network_mode: host设置上就可以了,你也可以通过docker inspect 容器id 查看docker帮我们绑定的ip

最后

如果你想了解更多的文章可以微信搜索zhaoyx92,或者扫码关注.别抱有太高期望,更新很慢的

zhaoyx92