Flink 性能测试 Nexmark 使用

2023-11-08 本文已影响0人 AlienPaul

Flink 使用介绍相关文档目录

前言

Nexmark和TPCDS性能测试类似，它目前的版本提供了23条SQL，代表了23种典型的数据分析场景。Nexmark不使用任何外部的source和sink，能够真实的反映出流计算系统的性能。

环境要求

Flink 1.15.4
Nexmark 0.2 (master)分支
因测试较为耗费硬件资源，建议服务器64G以上内存，32核心左右

编译

执行：

git clone https://github.com/nexmark/nexmark.git

将代码clone到本地。

接下来修改Flink版本。编辑根目录的pom.xml，将其中的flink.version修改为对应的Flink版本。这里以1.15.4版本为例。

<properties>
    <flink.version>1.15.4</flink.version>
    <slf4j.version>1.7.15</slf4j.version>
    <log4j.version>1.2.17</log4j.version>
    <java.version>1.8</java.version>
    <scala.binary.version>2.12</scala.binary.version>
    <maven.compiler.source>${java.version}</maven.compiler.source>
    <maven.compiler.target>${java.version}</maven.compiler.target>
</properties>

最后进入nexmark-flink目录执行build.sh开始编译。编译完成之后可看到生成的nexmark-flink.tgz文件。复制走备用。

配置Standalone集群

Nexmark只支持Flink standalone集群。这里我们搭建一个standalone模式集群。

下载Flink 1.15.4 安装包。下载地址为：https://archive.apache.org/dist/flink/flink-1.15.4/flink-1.15.4-bin-scala_2.12.tgz。解压到任意目录。
解压nexmark-flink.tgz到任意目录。
复制nexmark-flink/lib中的jar到Flink目录的lib中。
配置Flink目录的conf/masters（JobManager节点）和conf/workers（TaskManager节点）。
复制nexmark-flink/conf/sql-client-defaults.yaml到Flink目录的conf中。
修改nexmark-flink/conf/flink-conf.yaml中的:
jobmanager.rpc.address为集群JobManager的hostname或者IP地址。
state.checkpoints.dir为checkpoint保存路径。
state.backend.rocksdb.localdir为rocksdb本地数据保存路径。
taskmanager.numberOfTaskSlots 如果TM个数过少，可能会资源不足，建议调大该配置。
复制nexmark-flink/conf/flink-conf.yaml到Flink目录的conf。
修改nexmark-flink/conf/nexmark.yaml中的nexmark.metric.reporter.host为JobManager的hostname或者IP地址。
使用scp，整个复制Flink目录和nexmark-flink目录到各个节点，在各个节点中的路径要确保一致。
配置各个节点的~/.bash_profile。增加如下环境变量：

export FLINK_HOME=/path/to/flink-1.15.4

在JobManager节点执行Flink安装目录中的bin/start-cluster.sh等待集群启动。成功启动后使用浏览器可以打开http://jobmanager_ip:8081，进入Flink Dashboard。
执行nexmark/bin/setup_cluster.sh。执行成功后可在各个节点查看到com.github.nexmark.flink.metric.cpu.CpuMetricSender进程。

运行测试

nexmark-flink/bin/run_query.sh all

执行所有的SQL测试。

FAQ

执行nexmark/bin/setup_cluster.sh后节点上没有CpuMetricSender进程

原因很可能是FLINK_HOME环境变量没有配置，需要在问题节点执行前面第10步。

Flink作业频繁failed或者restart

问题在于slot数量过少。测试集群TaskManager节点数量过少的时候会出现该问题。建议增加TaskManager数量，或者增大每个TaskManager的slot个数。参见前面第6步。

另外，TaskManager的内存建议增加到20G以上。