JMeter 4.0 分布式测试原理及填坑注意事项

2019-04-01 本文已影响324人 DC_ing

我们使用 JMeter 进行性能测试时，经常遇到 JMeter 假死的情况。一般有两个原因：一是 JMeter 原本是Java写的，heap受硬件限制需要调优，二是单机无法分解超大并发比如100万+并发压测。因此，我们分二部走，首先我们需要进行jmeter分布式部署和调配，二是我们需要对每台执行机进行深度 JMeter JVM 调优，掠尽所有执行及的硬件和网络资源。

一、JMeter 分布式部署与配置

下图为 JMeter 的原理图，Controller 可以 GUI 模式运行，也可以非 GUI 模式运行。

JMeter 分布式原理

PS：JMeter 分布式测试注意事项：

每一台 Slave 都执行相同的测试计划，JMeter 不会在执行期间做负载均衡，每一台 Slave 都会完整地运行测试计划。
Controller 和 Slave 最好分开，由于 Contoller 需要发送信息给 Slave，并且接收 Slave 回传的测试结果，Controller 就会存在较大的消耗，所以建议单独使用一台机器作为 Controller。
Controller 和所有的 Slave 都需要运行同一版本的 JDK 和 JMeter，安装相同的插件且版本一致（最好就是直接将 Controller 的 JMeter 直接复制一份到 Slave 上），如果版本不一致，可能会发生意外的问题；

1. 确保 Controller 和 Slave 之间的网络通信是互通的。

这是首要条件，JMeter 的 Controller 与 Slave 之间的连接也是通过网络通信连接起来的。如果网络通信不同，怎么连接、怎么配置都会失败，搞得你一脸懵逼。

方法：ping 一下对方的 IP 地址，看是否连通。如果连通，如下所示

~ » ping 132.16.17.58
PING 132.16.17.58 (132.16.17.58): 56 data bytes
64 bytes from 132.16.17.58: icmp_seq=0 ttl=64 time=0.088 ms
64 bytes from 132.16.17.58: icmp_seq=1 ttl=64 time=0.108 ms
64 bytes from 132.16.17.58: icmp_seq=2 ttl=64 time=0.103 ms
64 bytes from 132.16.17.58: icmp_seq=3 ttl=64 time=0.098 ms
^C
# 以下内容是按 Ctrl + C 中断后，才显示的内容
--- 132.16.17.58 ping statistics ---
9 packets transmitted, 9 packets received, 0.0% packet loss
round-trip min/avg/max/stddev = 0.066/0.097/0.124/0.019 ms

如果出现以下内容，说明单方向是不连通的。

$ ping 132.16.17.58
PING 132.16.17.58 (132.16.17.58) 56(84) bytes of data.
^C
# 以下内容是按 Ctrl + C 中断后，才显示的内容
--- 132.16.17.58 ping statistics ---
16 packets transmitted, 0 received, 100% packet loss, time 14999ms

连接不同解决办法：

更换远程服务器（执行机 Slave），是 Controller 和 Slave 都处在同一网络中。

2. 机器的环境配置

在 JMETER_HOME/bin/jmeter.properties 文件，
- Slave 在server_port标注端口号（可以为默认的，也可以自己新修改的）， remote_hosts上写上本机的 ip 地址和端口号，如下图所示
Slave remote_hosts设置

- Controller 在`server_port`标注端口号（可以为默认的，也可以自己新修改的）， `remote_hosts`上写上本机的 ip 地址和端口号，如下图所示

![Controller r�emote_hosts设置](https://img.haomeiwen.com/i6559549/0f78f0f1274f8366.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240)

设置 SSL 为 disable，server.rmi.ssl.disable=true，如下图所示
SSL

PS：这个设置，在 Controller 和 Slave 都需要进行设置，缺一不可。

2.1 4.0版本新增设置 keystore

4.0版本官方帮助文档有以下这句话：

Since JMeter 4.0 the default transport mechanism for RMI will use SSL. SSL needs keys and certificates to work. You will have to create those keys yourself.

在4.0以后的版本，需要先设置 keystore 才能正常进行分布式测试，不然会报以下错误：

$ ./jmeter-server
Server failed to start: java.rmi.server.ExportException: Listen failed on port: 0; nested exception is:
    java.io.FileNotFoundException: rmi_keystore.jks (No such file or directory)
An error occurred: Listen failed on port: 0; nested exception is:
    java.io.FileNotFoundException: rmi_keystore.jks (No such file or directory)
# 直接提示没有 rmi_keystore.jks 文件存在

在 Controller 的 JMETER_HOME/bin/ 路径，Windows 系统运行create-rmi-keystore.bat，Unix 系统（包含 Linux，macOS）运行create-rmi-keystore.sh。

当您运行该脚本时，它将询问您一些关于它将嵌入到证书中的一些名称的问题。您可以输入任何您想要的内容，只要keystore工具能接受它。第一个问题输入的值必须与属性server.rmi.ssl.keystore匹配，默认为rmi。创建 keystore 的示例如下所示。

$ cd jmeter/bin
$ ./create-rmi-keystore.sh
What is your first and last name?
  [Unknown]:  rmi
What is the name of your organizational unit?
  [Unknown]:  My unit name
What is the name of your organization?
  [Unknown]:  My organisation name
What is the name of your City or Locality?
  [Unknown]:  Your City
What is the name of your State or Province?
  [Unknown]:  Your State
What is the two-letter country code for this unit?
  [Unknown]:  XY
Is CN=rmi, OU=My unit name, O=My organisation name, L=Your City, ST=Your State, C=XY correct?
  [no]:  yes

Copy the generated rmi_keystore.jks to jmeter/bin folder or reference it in property 'server.rmi.ssl.keystore.file'

以上步骤完成后，将rmi_keystore.jks复制到所有 Slave 的JMETER_HOME/bin/路径。

二、分布式运行测试

Controller 和 Slave 的机器配置好了。先在 Slave 启动 jmeter-server 脚本，WIndows 系统运行 JMETER_HOME/bin/jmeter-server.bat ,Unix 系统运行 JMETER_HOME/bin/jmeter-server；Controller 启动jmeter脚本，WIndows 系统运行 JMETER_HOME/bin/jmeter.bat ,Unix 系统运行 JMETER_HOME/bin/jmeter.sh。

1. Slave 运行 jmeter-server

运行 jmeter-server，添加hostname。直接运行成功：

$ ./jmeter-server -Djava.rmi.server.hostname=132.16.17.58
Created remote object: UnicastServerRef2 [liveRef: [endpoint:[132.16.17.58:31195](local),objID:[4df82a0e:1641c5906db:-7fff, 2683355085897544019]]]

2. Controller 运行 jmeter-server

2.1 非 GUI 模式启动

启动所有 Slave 机命令：

jmeter -n -t script.jmx -r

启动指定 Slave 机命令：

jmeter -n -t script.jmx -R server1,server2,…

2.2 GUI 模式启动

启动 JMeter 的 UI 界面后，下图是让指定远程端执行测试。选择Remote Start All是启动所有远程端执行测试。Controller 本身不执行测试操作。

启动指定远程 JMeter 客户端执行测试

三、注意事项和坑

如果压测脚本需要进入外部的数据文件，则需要当前每个 slave 机器上都有该数据文件存在，且路径需要设置成一样，Slave 的主路径为启动 jmeter-server 脚本的路径。
```
Uncaught Exception java.lang.RuntimeException: Cannot initialize RandomCSVReader, because of error: /home/server/apache-jmeter-4.0/bin/./data/test.txt (No such file or directory). See log file for details.
```
在 Slave 的主路径下，外部的数据文件存放路径与 Controller 存放的路径需要一致。推荐使用相对路径存放数据文件。
出现以下错误信息，请查看Slave 的 jmeter-server 服务是否已开启。
远程拒绝信息

如果出现以下错误信息，请对Slave 的 jmeter-server 重启。以下错误信息可能是缺失数据文件引起的。
Engine is busy

如果 Controller 和 Slave 没有同时配置 ssl 为 disable，运行时，Slave 端会出现以下报错信息：
```
~ » ./jmeter -n -R 132.16.17.58:2099 -t demo.jmx -l demo.jtl
```

Configuring remote engine: 132.16.17.58:2099
error during JRMP connection establishment; nested exception is:
javax.net.ssl.SSLHandshakeException: Remote host closed connection during handshake
Failed to configure 132.16.17.58:2099
Stopping remote engines
Remote engines have been stopped
Error in NonGUIDriver java.lang.RuntimeException: Following remote engines could not be configured:[132.16.17.58:2099]
```

Controller 会出现以下错误信息：

non-JRMP

直接运行./jmeter-server，出现An error occurred: Cannot start. server-am-001 is a loopback address.报错信息：

$ ./jmeter-server
Created remote object: UnicastServerRef2 [liveRef: [endpoint:[127.0.1.1:30303](local),objID:[46b30ac2:1641b5aafad:-7fff, -2320151491530847024]]]
Server failed to start: java.rmi.RemoteException: Cannot start. server-am-001 is a loopback address.
An error occurred: Cannot start. server-am-001 is a loopback address.

解决办法：指定本机 IP

./jmeter-server -Djava.rmi.server.hostname=xxx.xxx.xxx.xxx