关于elasticsearch的安装配置
windows安装
安装 elasticsearch
1.首先安装java se 1.7 以上，配置环境变量
2.ElasticSearch Download（官网） 下载ElasticSearch安装包
3.解压后在elasticsearch下的bin目录下的elasticsearch.bat可以直接启动
安装 elasticsearch-head
1.修改 elasticsearch/config/elasticsearch.yml
2.添加
http.cors.enabled: true
http.cors.allow-origin: "*"
4.下载 elasticsearch-head 或者git clone 到随便一个文件夹
-
安装nodejs(一顿下一步就行)
-
cd elasticsearch-head（切换到head的解压路径下，elasticsearch5.0以上不能使用plugin -install mobz/elasticsearch-head 命令进行安装head）
-
<a name="OLE_LINK1"></a>npm install -g grunt-cli（注意查看安装路径，默认路径如果不是在head目录下，记得修改 npm config get prefix 查看目录 ）
-
npm install grunt安装grunt
-
npm install （执行这一步的时候，如果报错，让选择正确的license版本号， 那么打开D:\elasticsearch-head\路径下的package.json中的Apache2改为 Apache-2.0，）
（执行npm install 的时候速度非常慢
可以使用这个指令把下载路径换成淘宝的镜像路径
npm install grunt --registry=http://registry.npm.taobao.org
或者直接把下载地址设置为淘宝路径（推荐）
npm config set registry http://registry.npm.taobao.org，如果还是比较慢的话
可以尝试使用 npm install cnpm -g 使用淘宝的镜像 npm cache clean 清理缓存）
image.png
- grunt server （启动elasticsearch-head可以访问http://localhost:9100/）
image.png
image.png
Linux下的安装
linux下的elasticsearch 安装
1.将jdk安装到linux中（1.7以上）
2.配置环境变量
vim /etc/profile 编辑profile文件
在底部加入
JAVA_HOME=/usr/java/jdk1.8
PATH=JAVA_HOME/bin:PATH
CLASSPATH=JAVA_HOME/jre/lib/ext:JAVA_HOME/lib/tools.jar
export PATH JAVA_HOME CLASSPATH
装好后记得使环境变量生效 source /etc/profile
3.将下载好的elasticsearch 的tar包，通过xftp放入目标服务器
4.解压文件
5. ./bin/elasticsearch 指令启动
6.出来箭头所指的地方代表成功
image.png
linux下的elasticsearch-Head安装
1.从官网下载对应的tar包
<u>https://nodejs.org/en/download/</u>
image.png
2.通过xftp放入对应的服务器中
3.解压tar包
tar -xvf node-v6.11.3-linux-x64.tar.xz 解压tar包
mv node-v6.11.3-linux-x64 nodejs 重命名为nodejs
4.查看nodejs 的bin目录下 是否有npm 和node
将两个文件设置为全局
ln -s /home/debian/node/nodejs/bin/npm /usr/local/bin/npm
ln -s /home/debian/node/nodejs/bin/node /usr/local/bin/node
也可以设置为环境变量 vim /etc/profile 编写NODE_HOME并配置到PATH中用“:”隔开
image.png
装好后记得使环境变量生效source /etc/profile
查看是否安装成功 node -v
[图片上传失败...(image-d7d837-1515480300826)]
6.执行wget http://nodejs.org/dist/v6.11.3/node-v6.11.3.tar.gz
- cd node
./configure /path(安装的路径)
<a name="OLE_LINK2"></a> make
make install
-
vim /etc/profile 设置环境变量
-
source /etc/profile 配置的环境变量生效，可以使用 node -v指令查看是否成功
-
安装grunt 执行sudo npm install -g grunt-cli 如果提示sudo : npm指令找不到，那么需要执行
ln -s /home/debian/node/6.11.3/bin/npm /usr/local/bin/npm
ln -s /home/debian/node/6.11.3/bin/node /usr/local/bin/node
如果还是不行，那么可以将路径链接到usr/ bin
sudo ln -s /usr/local/bin/node /usr/bin/node
sudo ln -s /usr/local/bin/npm /usr/bin/npm
sudo ln -s /usr/local/lib/node /usr/lib/node
sudo ln -s /usr/local/bin/node-waf /usr/bin/node-waf
11.执行grunt -v 查看是否成功
image.png
12.修改 /Gruntfile.js
image.png
在如图所示的地方添加一个hostname:’0.0.0.0’在windows下就可以访问虚拟机了
13.windows下连接
image.png
Docker安装elasticsearch
设置为国内镜像
curl -sSL https://get.daocloud.io/daotools/set_mirror.sh | sh -s http://dc945b6d.m.daocloud.io
docker pull docker.elastic.co/elasticsearch/elasticsearch:5.5.3 拉取es到本地
docker run -d --restart=always -p 9200:9200 -p 9300:9300 \
--name=elasticsearch-stores \
-e ES_JAVA_OPTS="-Xms1024m -Xmx1024m" \
-v /data/docker/elasticsearch/data:/usr/share/elasticsearch/data \
-v /data/docker/elasticsearch/logs:/usr/share/elasticsearch/logs \
-v /data/docker/elasticsearch/config:/usr/share/elasticsearch/config \
-v /etc/localtime:/etc/localtime \
-v /etc/timezone:/etc/timezone \
docker.elastic.co/elasticsearch/elasticsearch:5.5.3（这个映射如果一定要加，需要把docker容器中的config ）前面是宿主机器的文件
此处执行这个指令的时候最好用root，避免权限问题导致映射不过来
写在一行里面 直接执行就好
安装es-jdbc的时候，我是直接安装在宿主机上了，es-jdbc的版本一定要和es的版本对应
目前es-jdbc我用的是2.3.4.1
运行自己写好的sh mysql-stores.sh 和 sh mysql-stores-schedule.sh
（1）舍弃标准输出，将错误输出到log文件中
nohup ./program >/dev/null 2>log &
（2）如果错误信息也不想要的话：
nohup ./program >/dev/null 2>&1 &
本身的sh里面已经带有Log的输出，所以错误信息也不要了，选择第二个
修改.sh中的信息时，一定要删除
image.png
如图对应的文件，再重新生成此文件，否则，修改不会生效
查看集群
<a name="OLE_LINK3"></a>192.168.217.128:9200/_cat/health?v
查看节点
192.168.217.128:9200/_cat/nodes?v
查看索引
192.168.217.128:9200/_cat/indices?v
新建删除索引
192.168.217.128:9200/stores?pretty
查看索引下所有的数据
<a name="OLE_LINK4"></a>192.168.100.129:9200/stores/_search?q=*&pretty
往索引里面放入数据目前没有办法在postman
elasticsearch.yml比较关键的配置
xpack.security.enabled: false 取消掉调用的时候的登录校验 5.5.3版本
cluster.name: elasticsearch
配置es的集群名称，默认是elasticsearch，es会自动发现在同一网段下的es，如果在同一网段下有多个集群，就可以用这个属性来区分不同的集群。
node.master: true 指定该节点是否有资格被选举成为node，默认是true，es是默认集群中的第一台机器为master，如果这台机挂了就会重新选举master。
node.data: true 指定该节点是否存储索引数据，默认为true。
index.number_of_shards: 5 设置默认索引分片个数，默认为5片。
index.number_of_replicas: 1 设置默认索引副本个数，默认为1个副本。
path.conf: /path/to/conf 设置配置文件的存储路径，默认是es根目录下的config文件夹。
path.data: /path/to/data 设置索引数据的存储路径，默认是es根目录下的data文件夹，可以设置多个存储路径，用逗号隔开，例： path.data: /path/to/data1,/path/to/data2
path.work: /path/to/work 设置临时文件的存储路径，默认是es根目录下的work文件夹。
path.logs: /path/to/logs 设置日志文件的存储路径，默认是es根目录下的logs文件夹
path.plugins: /path/to/plugins 设置插件的存放路径，默认是es根目录下的plugins文件夹
bootstrap.mlockall: true 设置为true来锁住内存。因为当jvm开始swapping时es的效率 会降低，所以要保证它不swap，可以把ES_MIN_MEM和ES_MAX_MEM两个环境变量设置成同一个值，并且保证机器有足够的内存分配给es。 同时也要允许elasticsearch的进程可以锁住内存，linux下可以通过ulimit -l unlimited命令。
network.bind_host: 192.168.0.1 设置绑定的ip地址，可以是ipv4或ipv6的，默认为0.0.0.0。
network.publish_host: 192.168.0.1 设置其它节点和该节点交互的ip地址，如果不设置它会自动判断，值必须是个真实的ip地址。
network.host: 192.168.0.1 这个参数是用来同时设置bind_host和publish_host上面两个参数。
transport.tcp.port: 9300 设置节点间交互的tcp端口，默认是9300。
transport.tcp.compress: true 设置是否压缩tcp传输时的数据，默认为false，不压缩。
http.port: 9200 设置对外服务的http端口，默认为9200。
http.max_content_length: 100mb 设置内容的最大容量，默认100mb
http.enabled: false 是否使用http协议对外提供服务，默认为true，开启。
gateway.type: local gateway的类型，默认为local即为本地文件系统，可以设置为本地文件系统，分布式文件系统，hadoop的HDFS，和amazon的s3服务器，其它文件系统的设置方法下次再详细说。
gateway.recover_after_nodes: 1 设置集群中N个节点启动时进行数据恢复，默认为1。
gateway.recover_after_time: 5m 设置初始化数据恢复进程的超时时间，默认是5分钟。
gateway.expected_nodes: 2 设置这个集群中节点的数量，默认为2，一旦这N个节点启动，就会立即进行数据恢复。
cluster.routing.allocation.node_initial_primaries_recoveries: 4 初始化数据恢复时，并发恢复线程的个数，默认为4。
cluster.routing.allocation.node_concurrent_recoveries: 2 添加删除节点或负载均衡时并发恢复线程的个数，默认为4。
indices.recovery.max_size_per_sec: 0 设置数据恢复时限制的带宽，如入100mb，默认为0，即无限制。
indices.recovery.concurrent_streams: 5 设置这个参数来限制从其它分片恢复数据时最大同时打开并发流的个数，默认为5。
discovery.zen.minimum_master_nodes: 1 设置这个参数来保证集群中的节点可以知道其它N个有master资格的节点。默认为1，对于大的集群来说，可以设置大一点的值（2-4）
discovery.zen.ping.timeout: 3s 设置集群中自动发现其它节点时ping连接超时时间，默认为3秒，对于比较差的网络环境可以高点的值来防止自动发现时出错。
discovery.zen.ping.multicast.enabled: false 设置是否打开多播发现节点，默认是true。
discovery.zen.ping.unicast.hosts: ["host1", "host2:port", "host3[portX-portY]"] 设置集群中master节点的初始列表，可以通过这些节点来自动发现新加入集群的节点。
安装时遇到的问题
1****、max virtual memory areas vm.max_map_count [65530] is too low, increase to at least [262144]
修改/etc/sysctl.conf配置文件，
cat /etc/sysctl.conf | grep vm.max_map_count vm.max_map_count = 262144
如果还是出现这个问题的话执行
sysctl -w vm.max_map_count = 262144
2、在linux中启动后，在windows下访问不了
修改elasticsearch目录中的 config中的elasticsearch.yml，将#去掉，并且将host改为0.0.0.0
Vim config/elasticsearch.yml
image.png
image.png
image.png
3. 安装node的时候一定要记得不要用压缩包直接解压就算安装了，这种安装方法在Linux中是行不通的
- 安装sudo npm install 的时候保错，如图所示，
尝试执行了sudo npm install phantomjs-prebuilt@2.1.15 --ignore-scripts 后，再执行sudo npm install 不在报错
image.png
最新的创建docker容器指令 一定要在普通用户权限下运行
docker run -d --restart=always -p 9200:9200 -p 9300:9300 --name=es
-e ES_JAVA_OPTS="-Xms1024m -Xmx1024m"
-v /data/docker/elasticsearch/data:/usr/share/elasticsearch/data
-v /data/docker/elasticsearch/logs:/usr/share/elasticsearch/logs
-v /data/docker/elasticsearch/config:/usr/share/elasticsearch/config
-v /data/docker/elasticsearch/plugins:/usr/share/elasticsearch/plugins
-v /etc/localtime:/etc/localtime
-v /etc/timezone:/etc/timezone
docker.elastic.co/elasticsearch/elasticsearch:6.0.0
docker network connect localhost_connection es
关于报错
执行 sudo chown -R ubuntu /data/docker/elasticsearch/
org.elasticsearch.bootstrap.StartupException: java.lang.IllegalStateException: failed to obtain node locks, tried [[/usr/share/elasticsearch/data/elasticsearch]] with lock id [0]; maybe these locations are not writable or multiple nodes were started without increasing [node.max_local_storage_nodes] (was [1])?
at org.elasticsearch.bootstrap.Elasticsearch.init(Elasticsearch.java:134) ~[elasticsearch-6.0.0.jar:6.0.0]
at org.elasticsearch.bootstrap.Elasticsearch.execute(Elasticsearch.java:121) ~[elasticsearch-6.0.0.jar:6.0.0]
at org.elasticsearch.cli.EnvironmentAwareCommand.execute(EnvironmentAwareCommand.java:69) ~[elasticsearch-6.0.0.jar:6.0.0]
at org.elasticsearch.cli.Command.mainWithoutErrorHandling(Command.java:134) ~[elasticsearch-6.0.0.jar:6.0.0]
at org.elasticsearch.cli.Command.main(Command.java:90) ~[elasticsearch-6.0.0.jar:6.0.0]
at org.elasticsearch.bootstrap.Elasticsearch.main(Elasticsearch.java:92) ~[elasticsearch-6.0.0.jar:6.0.0]
at org.elasticsearch.bootstrap.Elasticsearch.main(Elasticsearch.java:85) ~[elasticsearch-6.0.0.jar:6.0.0]
Caused by: java.lang.IllegalStateException: failed to obtain node locks, tried [[/usr/share/elasticsearch/data/elasticsearch]] with lock id [0]; maybe these locations are not writable or multiple nodes were started without increasing [node.max_local_storage_nodes] (was [1])?
at org.elasticsearch.env.NodeEnvironment.<init>(NodeEnvironment.java:244) ~[elasticsearch-6.0.0.jar:6.0.0]
at org.elasticsearch.node.Node.<init>(Node.java:263) ~[elasticsearch-6.0.0.jar:6.0.0]
at org.elasticsearch.node.Node.<init>(Node.java:245) ~[elasticsearch-6.0.0.jar:6.0.0]
at org.elasticsearch.bootstrap.Bootstrap$5.<init>(Bootstrap.java:212) ~[elasticsearch-6.0.0.jar:6.0.0]
at org.elasticsearch.bootstrap.Bootstrap.setup(Bootstrap.java:212) ~[elasticsearch-6.0.0.jar:6.0.0]
at org.elasticsearch.bootstrap.Bootstrap.init(Bootstrap.java:322) ~[elasticsearch-6.0.0.jar:6.0.0]
at org.elasticsearch.bootstrap.Elasticsearch.init(Elasticsearch.java:130) ~[elasticsearch-6.0.0.jar:6.0.0]
... 6 more
Caused by: java.io.IOException: failed to obtain lock on /usr/share/elasticsearch/data/nodes/0
at org.elasticsearch.env.NodeEnvironment.<init>(NodeEnvironment.java:223) ~[elasticsearch-6.0.0.jar:6.0.0]
at org.elasticsearch.node.Node.<init>(Node.java:263) ~[elasticsearch-6.0.0.jar:6.0.0]
at org.elasticsearch.node.Node.<init>(Node.java:245) ~[elasticsearch-6.0.0.jar:6.0.0]
at org.elasticsearch.bootstrap.Bootstrap$5.<init>(Bootstrap.java:212) ~[elasticsearch-6.0.0.jar:6.0.0]
at org.elasticsearch.bootstrap.Bootstrap.setup(Bootstrap.java:212) ~[elasticsearch-6.0.0.jar:6.0.0]
at org.elasticsearch.bootstrap.Bootstrap.init(Bootstrap.java:322) ~[elasticsearch-6.0.0.jar:6.0.0]
at org.elasticsearch.bootstrap.Elasticsearch.init(Elasticsearch.java:130) ~[elasticsearch-6.0.0.jar:6.0.0]
... 6 more
Caused by: java.nio.file.AccessDeniedException: /usr/share/elasticsearch/data/nodes/0/node.lock
at sun.nio.fs.UnixException.translateToIOException(UnixException.java:84) ~[?:?]
at sun.nio.fs.UnixException.rethrowAsIOException(UnixException.java:102) ~[?:?]
at sun.nio.fs.UnixException.rethrowAsIOException(UnixException.java:107) ~[?:?]
at sun.nio.fs.UnixFileSystemProvider.newFileChannel(UnixFileSystemProvider.java:177) ~[?:?]
at java.nio.channels.FileChannel.open(FileChannel.java:287) ~[?:1.8.0_151]
at java.nio.channels.FileChannel.open(FileChannel.java:335) ~[?:1.8.0_151]
at org.apache.lucene.store.NativeFSLockFactory.obtainFSLock(NativeFSLockFactory.java:113) ~[lucene-core-7.0.1.jar:7.0.1 8d6c3889aa543954424d8ac1dbb3f03bf207140b - sarowe - 2017-10-02 14:36:35]
at org.apache.lucene.store.FSLockFactory.obtainLock(FSLockFactory.java:41) ~[lucene-core-7.0.1.jar:7.0.1 8d6c3889aa543954424d8ac1dbb3f03bf207140b - sarowe - 2017-10-02 14:36:35]
at org.apache.lucene.store.BaseDirectory.obtainLock(BaseDirectory.java:45) ~[lucene-core-7.0.1.jar:7.0.1 8d6c3889aa543954424d8ac1dbb3f03bf207140b - sarowe - 2017-10-02 14:36:35]
at org.elasticsearch.env.NodeEnvironment.<init>(NodeEnvironment.java:209) ~[elasticsearch-6.0.0.jar:6.0.0]
at org.elasticsearch.node.Node.<init>(Node.java:263) ~[elasticsearch-6.0.0.jar:6.0.0]
at org.elasticsearch.node.Node.<init>(Node.java:245) ~[elasticsearch-6.0.0.jar:6.0.0]
at org.elasticsearch.bootstrap.Bootstrap$5.<init>(Bootstrap.java:212) ~[elasticsearch-6.0.0.jar:6.0.0]
at org.elasticsearch.bootstrap.Bootstrap.setup(Bootstrap.java:212) ~[elasticsearch-6.0.0.jar:6.0.0]
at org.elasticsearch.bootstrap.Bootstrap.init(Bootstrap.java:322) ~[elasticsearch-6.0.0.jar:6.0.0]
at org.elasticsearch.bootstrap.Elasticsearch.init(Elasticsearch.java:130) ~[elasticsearch-6.0.0.jar:6.0.0]
... 6 more
