Quartz设计原理

2020-10-15  本文已影响0人  Real_man

调度系统作为分布式系统技术中重要的一环，了解其技术原理必不可少，不同系统内部才用的调度系统叫法不一样，但大致功能都类似，而Quartz作为经典的开源企业级调度系统，怎么能不研究一下呢？

为什么要学习quartz源码？

概念

image-20201015081958118

Demo

来一段代码实际感受下Quartz的使用方式，有助于了解其概念：

1 假如mvn依赖，mysql和HikariCP用于持久化任务配置。

<!-- https://mvnrepository.com/artifact/org.quartz-scheduler/quartz -->
        <dependency>
            <groupId>org.quartz-scheduler</groupId>
            <artifactId>quartz</artifactId>
            <version>2.3.0</version>
        </dependency>
        <dependency>
            <groupId>org.quartz-scheduler</groupId>
            <artifactId>quartz-jobs</artifactId>
            <version>2.2.1</version>
        </dependency>
        <dependency>
            <groupId>mysql</groupId>
            <artifactId>mysql-connector-java</artifactId>
            <version>5.1.35</version>
        </dependency>
        <!-- https://mvnrepository.com/artifact/com.zaxxer/HikariCP -->
        <dependency>
            <groupId>com.zaxxer</groupId>
            <artifactId>HikariCP</artifactId>
            <version>2.2.5</version>
        </dependency>

2 准备Demo代码

//创建一个简单的Job接口类
public class HelloJob implements Job {
    @Override
    public void execute(JobExecutionContext jobExecutionContext) throws JobExecutionException {
        System.out.println("hello quartz!");
    }
}
// 1. 通过工厂的方式创建Scheduler
// 2. JobDetail指定Job为HelloJob
// 3. Trigger执行策略为每个10s重复执行一次调度作业
public class SchedulerTest {
    private static SchedulerFactory factory = new StdSchedulerFactory();

    public static void main(String[] args) throws SchedulerException {
        Scheduler scheduler = factory.getScheduler();
        scheduler.start();

        // JobDetail
        JobDetail job = JobBuilder.newJob(HelloJob.class)
            .withIdentity("myJob", "group")
            .build();

        // Trigger
        Trigger trigger = TriggerBuilder.newTrigger()
            .withIdentity("myTrigger", "group")
            .startNow()
            .withSchedule(simpleSchedule()
                .withIntervalInSeconds(10)
                .repeatForever())
            .build();

        // 调度
        scheduler.scheduleJob(job,trigger);
    }
}

3 默认情况下JobDetail和Trigger是存储在内存中的，如果想要持久化到数据库中，可以新增quartz.properties，修改配置准备数据库脚本。

# quartz数据库的表前缀
org.quartz.jobStore.tablePrefix = QRTZ_
# 持久化使用的类，JobStoreTX支持事物的提交和回滚
org.quartz.jobStore.class = org.quartz.impl.jdbcjobstore.JobStoreTX
org.quartz.jobStore.driverDelegateClass = org.quartz.impl.jdbcjobstore.StdJDBCDelegate

# 数据源的标记，配置之后quartz会根据值作为前缀获取数据库的配置
# 在StdSchedulerFactory类中搜索 String[] dsNames = cfg.getPropertyGroups(PROP_DATASOURCE_PREFIX); 查看这部分代码
org.quartz.jobStore.dataSource = myDS

# 配置数据库
org.quartz.dataSource.myDS.driver = com.mysql.jdbc.Driver
org.quartz.dataSource.myDS.URL = jdbc:mysql://localhost:3306/quartz-test?characterEncoding=utf-8
org.quartz.dataSource.myDS.user = root
org.quartz.dataSource.myDS.password =
org.quartz.dataSource.myDS.maxConnections = 5
#org.quartz.dataSource.myDS.connectionProvider.class=org.quartz.utils.HikariCpPoolingConnectionProvider
org.quartz.dataSource.myDS.provider=hikaricp


# 其余采用默认的quartz配置
org.quartz.scheduler.instanceName: DefaultQuartzScheduler
org.quartz.scheduler.rmi.export: false
org.quartz.scheduler.rmi.proxy: false
org.quartz.scheduler.wrapJobExecutionInUserTransaction: false

org.quartz.threadPool.class: org.quartz.simpl.SimpleThreadPool
org.quartz.threadPool.threadCount: 10
org.quartz.threadPool.threadPriority: 5
org.quartz.threadPool.threadsInheritContextClassLoaderOfInitializingThread: true

org.quartz.jobStore.misfireThreshold: 60000

运行结果：

image-20201015082522436

数据表解释：

表名称 描述
QRTZ_CALENDARS 存储Quartz的Calendar信息
QRTZ_CRON_TRIGGERS 存储CronTrigger，包括Cron表达式和时区信息
QRTZ_FIRED_TRIGGERS 存储与已触发的Trigger相关的状态信息，以及相联Job的执行信息
QRTZ_PAUSED_TRIGGER_GRPS 存储已暂停的Trigger组的信息
QRTZ_SCHEDULER_STATE 存储少量的有关Scheduler的状态信息，和别的Scheduler实例
QRTZ_LOCKS 存储程序的悲观锁的信息
QRTZ_JOB_DETAILS 存储每一个已配置的Job的详细信息
QRTZ_SIMPLE_TRIGGERS 存储简单的Trigger，包括重复次数、间隔、以及已触的次数
QRTZ_BLOG_TRIGGERS Trigger作为Blob类型存储
QRTZ_TRIGGERS 存储已配置的Trigger的信息

原理设计

UML类图

image-20201015083312402

Quartz主要启动过程

通过时序图，了解Quartz大部分核心类的创建时机。

image-20201015082904630

1 首先创建调度工厂类，一般使用StdSchedulerFactory，通过工厂类创建Scheduler。Scheduler的属性可通过quartz.properties配置

2 以Scheduler的标准实现StdScheduler为例，其为QuartzScheduler的代理类，主要行为通过QuartzScheduler来实现。

3 QuartzScheduler实例化的时候也是在StdSchedulerFactory中，它主要使用两个对象。

image-20201015083655488

Quartz任务调度过程

我们创建的任务是怎么被调度的？主要在调度线程QuartzSchedulerThread中实现，其大致逻辑

image-20201015084444555

1 先获取线程池中可以使用的线程数量，如果没有可以用的线程会阻塞到有可用的线程。 配置：org.quartz.threadPool.xxx

2 通过JobStore获取接下来30秒钟内要执行的trigger。org.quartz.spi.JobStore#acquireNextTriggers

3 循环与waiting到任务配置的触发时间

4 进行触发，通过JobStore.triggerFired获取TriggerFiredResult

5 针对每个要执行的TriggerFiredResult，创建JobRunShell，并放入线程池执行

image-20201015085526901

Quartz任务Misfire过程

Quartz调度器正常情况下获取将来一段时间内要触发的任务，然后循环等待到指定时刻进行执行，但是可能在指定的时间点未执行到配置的任务。出现这种情况的原因：

那么Misfire机制的处理原理是什么呢？

image-20201015085655085 image-20201015090040274

内部run方法的执行流程：

1 扫描在misfireThreshold到此刻时间范围内没有被执行的Trigger。首先进行计数：countMisfiredTriggersInState(conn, STATE_WAITING, getMisfireTime())

2 如果count大于0的话，获取锁，防止并发访问。然后获取需要被触发的Misfire trigger。

3 根据配置的misfireInstruction更新trigger的next_fire_time。主要方法位于：SimpleTriggerImpl#updateAfterMisfire

4 提交connection

5 如果还有更多的misfire任务，休息最短暂的50ms。 如果没有则sleep时间为misfireThreshold

Trigger状态

在网上看到一个有关Trigger状态流转的图，参考下：

img

一些问题

预估在使用Quartz中可能会存在的问题：

1 数据表结构固定，必须要按照官方给的表结构来吗？

2 Quartz默认使用数据库作为分布式锁，性能太差，如何优化？

参考：https://tech.ebayinc.com/engineering/performance-tuning-on-quartz-scheduler/

image-20201015091126628

最后

本人才疏学浅，过程如有不当，希望大佬能指出错误，如有想关于其设计原理讨论的，也欢迎来撩。

会持续更新...

参考

Process finished with exit code 0

上一篇下一篇

猜你喜欢

热点阅读