【Elastic-job】实践汇总以及记录遇到的若干问题

2022-04-25 本文已影响0人伊丽莎白2015

1. 版本问题

网上关于Elastic-job的文章有很多，如果初次上手Elastic-job，会发现有些文章依赖的groupId是com.dangdang，还有些甚至是程序员自己写的基于dangdang的jar包自己实现了一套spring boot。

【新闻】停滞数年后，ElasticJob 携首个 Apache 版本 3.0.0-alpha 回归！
https://baijiahao.baidu.com/s?id=1674705760276990789&wfr=spider&for=pc

基于上述文章，可以看到Elastic-job不再是dangdang网的项目了，而是apache shardingsphere的子项目，而3.0.0后的版本，是集成了Spring boot starter的，文档写的也更规范。

本文的实践就是基于shardingsphere-elasticjob 3.0的。

2. 资源链接

官网：https://shardingsphere.apache.org/elasticjob/

提供了中英文两个版本
下载页面：可以下载source code，UI console(TAR, 可独立运行)，历史的版本可点击Archive Repository。【更重要的是】，有很详细的PDF文档可以下载，中文版本有104页，资料还是很全的！！！入门看PDF文档完全够了！！！
Elastic-job download page

Github：https://github.com/apache/shardingsphere-elasticjob

3. 实践版本：

3.1 zookeeper 3.6.0
3.2 Java项目中：
- Java 17
- Spring boot：2.6.4
- elasticjob-lite-spring-boot-starter (3.0.0)
如果项目中要用到trace功能，上述Java项目中我集成了h2嵌入式数据库：
- spring-boot-starter-data-jpa (版本和Spring boot一致，这里没有特别指定）
- h2依赖：groupId = com.h2database, artifactId = h2, scope = runtime, version = 1.4.196，【实践1】这里特地的指定了下版本，主要是为了和另一个官网项目UI的版本一致。
如果还想体验Job错误后发送邮件功能（这块功能官方的PDF写的很详细了），上述Java项目中加上：artifactId = elasticjob-error-handler-email, version = 3.0.0
3.3 ElasticJob-Lite-Console，官方的一个小工具，用来查看Job的状态等，是一个独立的项目，下载地址在#2中有介绍。
- windows下如何运行：bin下start.bat
- 【实践2】文档上说的启动后端口是8899，而我用3.0.0的跑，默认端口是8088，完整的地址即：http://localhost:8088
- 【实践3】由于我本地的java home版本太高（jdk17)，在运行的时候会发生UI登陆不了的时候，在start.bat中手动set java_home以及path，指定为jdk8即可。
- 登陆后，Event trace data source，默认下拉只有h2和postgresql，想要集成oracle或者mysql，可以在lib下加上相应的jar即可。
- 【实践4】这里遇到一个问题，是我在加oracle的时候，地址写的不太对，然后重启UI后，这个项目就一直load有问题，日志就说是oracle地址有问题，但list又出不来以致于无法删除，后来发现在个人目录下有个文件夹叫.elasticjob-console，里面有个文件叫Configuration.xml，这里可以改上述配置，把相应错误的oracle配置去掉即可。

4. 其它实践

4.1 job失效转移：

我们都知道3.0.0版本后的Elastic-job支持在application.yaml中定义job，但如果我们使用以下代码在Controller中动态定义Job，HTTP API为/addJob：

JobConfiguration jobConfig = JobConfiguration.newBuilder("myJob", 3)
.cron("0/5 * * * * ?")
.shardingItemParameters("0=Beijing,1=Shanghai,2=Guangzhou")
.build();

假设这个Controller的项目，布署在3个节点上，instance01:8080, instance02:8080, instance03:8080。
我们在调用http://instance01:8080/addJob后，myJob确实会在instance01节点开始run，但如果此时instance01故障了，myJob默认情况下，并没有自动转移到instance02以及03上。
【实践5】想要job故障转移，必须在节点中先schedule，（zookeeper并不会帮忙做这块），所以需要在instance02、instance03上都调用过/addJob，那么job就会失效转移了。

4.2 jobListener

创建一个jobListener参考：https://shardingsphere.apache.org/elasticjob/current/cn/user-manual/elasticjob-lite/usage/job-listener/listener-interface/
文档上有说：

添加SPI实现
将JobListener实现添加至infra-common下resources/META-INF/services/org.apache.shardingsphere.elasticjob.infra.listener.ElasticJobListener

【实践6】自己在实现的时候，忽略了上述配置，需要在resources下新建目录METE-INF/servises
新建文件：org.apache.shardingsphere.elasticjob.infra.listener
内容（自定义的Listener的类全名）：xxx.xxx.MyJobListener

4.3 关于job-error-hander-type=EMAIL的配置：

email configuration
以上图是PDF中截取，我也是参考这个配置来运行我的alert，但发现会提示到不到email.host，【实践7】props应该是具体某个job的配置，不应该和jobs对齐，而应该和上述的jobErrorHandlerType对齐，下面是我的配置：

elasticJob:
  regCenter:
    ...
  jobs:
    my-simple-job:
        ...
        jobErrorHandlerType: EMAIL
        props:
          email:
            host: host
            ...

4.4 官方Q&A：

官网上列了14个问题以及解决方案，有可能在实践过程中真的会遇到：
https://shardingsphere.apache.org/elasticjob/current/cn/faq/