［10］elasticsearch源码深入分析——线程池的封装

本篇为elasticsearch源码分析系列文章的第十篇，本篇延续上一篇ElasticSearch的Plugin引出的内容，进行各种Plugin中线程池的分析。

上篇讲到了ElasticSearch中插件的基本概念，以及Node实例化中涉及到的PluginService初始化编码，本篇将会继续研究Node实例化的过程中PluginsService发挥的作用，也就是通过PluginsService中的参数构建线程池框架。

线程池在何时初始化

当Node完成了PluginsService的构造后，紧接会通过getExecutorBuilders方法取得线程池的Executor构造器列表，代码如下：

List<ExecutorBuilder<?>> executorBuilders = pluginsService.getExecutorBuilders(settings)

此时PluginsService对象中已经有了需要加载的所有plugin了，包含modules路径和plugins路径中的所有组件，这里统称为plugin。如下图所示总共是包含了13个已加载的Plugin，分别是modules路径中的默认必须加载的12个和Plugins路径中的自定义安装的1个（ICU分词器）。如下图所示

路径中的plugin对象 内存中的plugin对象

构建线程池框架

初始化ExecutorBuilder集合

Node实例化过程中，通过代码：

List<ExecutorBuilder<?>> executorBuilders = pluginsService.getExecutorBuilders(settings);

查找到自定义的线程池Executor构建器。再获得自定义线程池构建器集合后，开始构建线程池（ThreadPool）。

ThreadPool threadPool = new ThreadPool(settings, executorBuilders.toArray(new ExecutorBuilder[0]));

首先通过代码获得处理器CPU的数量，

Runtime.getRuntime().availableProcessors()

当然这个值是可以被Setting中设置的变量processors来覆盖的。这个变量在代码中被标记为availableProcessors。然后创建变量

• halfProcMaxAt5，这个变量的意思是availableProcessors的一半，但最大不超过5。
• halfProcMaxAt10，这个变量的意思是availableProcessors的一半，但最大不超过10。

这两个变量在后面创建各种线程池构造器中反复用到。

在确定了可使用的处理器数量后，就能确定线程池的最小值（genericThreadPoolMax），ElasticSearch中是确定为：可用CPU处理器数量的4倍，且固定范围为最小128，最大为512。

由此可见如果用一般服务器的话，线程池上限最终会被确定为128，可以说还是比较高的设定了。

接下来开始构造执行不同操作时线程池Executor，ElasticSearch中把各个操作的Executor构造为Map，Map<String, ExecutorBuilder>，下面是各个Executor对象的解释：

• 普通操作的Executor：构建一个可伸缩的Executor构建器，value为ScalingExecutorBuilder对象。接收参数和对应操作如下：
  • name：线程池执行者的名称，也就是generic。
  • core：线程池中线程的最小值，固定为4。将thread_pool.generic.core的设为这个值。
  • max：线程池中线程的最大值，对应上面提到的genericThreadPoolMax，在本机跑的结果是128
  • keepAlive：超过4个线程后，线程保持活跃的时间。这个值固定为30秒。这个参数被设定为变量thread_pool.generic.keep_alive

• 索引操作的Executor：构建一个固定的Executor构建器。key为index，value为FixedExecutorBuilder对象，接收参数和对应操作如下：
  • settings：Node的配置settings。设定配置变量thread_pool.index.size的值为该参数中cpu的数量
  • name：线程池执行者的名称，也就是idnex。
  • size：线程的固定大小，和参数name一起构造配置变量thread_pool.index.size的值为size的值，本机跑的结果是4。
  • queueSize：阻塞队列的大小，构造配置变量thread_pool.index.queue_size的值为200，注意这个值固定为200。

• 批处理操作的Executor：构建一个固定的Executor构建器。key为bulk，value为FixedExecutorBuilder对象，接收参数和对应操作如下：
  • settings：Node的配置settings。设定配置变量thread_pool.bulk.size的值为该参数中cpu的数量
  • name：线程池执行者的名称，也就是bulk。
  • size：线程的固定大小，和参数name一起构造配置变量thread_pool.bulk.size的值为size的值，本机跑的结果是4。
  • queueSize：阻塞队列的大小，构造配置变量thread_pool.bulk.queue_size的值为200，注意这个值固定为200。

• get操作的Executor：构建一个固定的Executor构建器。key为get，value为FixedExecutorBuilder对象，接收参数和对应操作如下：
  • settings：Node的配置settings。设定配置变量thread_pool.get.size的值为该参数中cpu的数量
  • name：线程池执行者的名称，也就是get。
  • size：线程的固定大小，和参数name一起构造配置变量thread_pool.get.size的值为size的值，本机跑的结果是4。
  • queueSize：阻塞队列的大小，构造配置变量thread_pool.get.queue_size的值为1000，注意这个值固定为1000。

• 查询操作的Executor：构建一个根据利特尔法则自动扩展长度的Executor构建器，这个构建器的逻辑与其他构建器不同，也显得比较复杂，也说明了对于查询操作，ElasticSearch做了特殊的优化。key为search，value为AutoQueueAdjustingExecutorBuilder对象，接收参数和对应操作如下：
  • settings：Node的配置settings。设定配置变量thread_pool.search.size的值为该参数中cpu的数量
  • name：线程池执行者的名称，也就是search。
  • size：线程的固定大小，和参数name一起构造配置变量thread_pool.search.size的值为size的值，本机跑的结果是7。
  • initialQueueSize:初始化队列的大小，固定设置为1000，造配置变量thread_pool.search.queue_size的值为200
  • minQueueSize：队列的最小长度，固定设置为1000设定配置变量thread_pool.search.min_queue_size的值为1000
  • maxQueueSize：队列的最大长度，固定设置为1000，设定配置变量thread_pool.search.max_queue_size的值为1000
  • frameSize：队列的步进长度，固定设置为2000，构造配置变量thread_pool.search.auto_queue_frame_size的值为200，注意这个值固定为200。
  • thread_pool.search.target_response_time针对search操作的相应被设置为1S，

• 管理操作的Executor：构建一个可伸缩的Executor构建器。key为management，value为ScalingExecutorBuilder对象，接收参数和对应操作如下：

  • settings：Node的配置settings。设定配置变量thread_pool.management.size的值为该参数中cpu的数量
  • name：线程池执行者的名称，也就是management，
  • size：线程的固定大小，和参数name一起构造配置变量thread_pool.management.size的值为size的值，本机跑的结果是1。
  • queueSize：阻塞队列的大小，构造配置变量thread_pool.management.queue_size的值为200，注意这个值固定为200。
  • keepAlive：超过1个线程后，线程保持活跃的时间。这个值固定为5分钟。这个参数被设定为变量thread_pool.management.keep_alive。

• 监听操作的Executor：构建一个固定的Executor构建器。key为listener，value为FixedExecutorBuilder对象，接收参数和对应操作如下：

  • settings：Node的配置settings。设定配置变量thread_pool.listener.size的值为该参数中cpu的数量
  • name：线程池执行者的名称，也就是listener，
  • size：线程的固定大小，上文提到的halfProcMaxAt10，和参数name一起构造配置变量thread_pool.listener.size的值为size的值，本机跑的结果是2。
  • queueSize：阻塞队列的大小，构造配置变量thread_pool.listener.queue_size的值为-1，意思就没有阻塞队列。

• flush操作的Executor：构建一个可伸缩的Executor构建器。key为flush，value为ScalingExecutorBuilder对象，接收参数和对应操作如下：
  • settings：Node的配置settings。设定配置变量thread_pool.flush.size的值为该参数中cpu的数量
  • name：线程池执行者的名称，也就是flush，
  • size：线程的固定大小，上文提到的halfProcMaxAt5，和参数name一起构造配置变量thread_pool.flush.size的值为size的值，本机跑的结果是4。
  • keepAlive：超过1个线程后，线程保持活跃的时间。这个值固定为5分钟。这个参数被设定为变量thread_pool.management.keep_alive。

• refresh操作的Executor：构建一个可伸缩的Executor构建器。key为refresh，value为ScalingExecutorBuilder对象，接收参数和对应操作如下：
  • settings：Node的配置settings。设定配置变量thread_pool.refresh.size的值为该参数中cpu的数量
  • name：线程池执行者的名称，也就是refresh，
  • size：线程的固定大小，上文提到的halfProcMaxAt10，和参数name一起构造配置变量thread_pool.refresh.size的值为size的值，本机跑的结果是4。
  • keepAlive：超过1个线程后，线程保持活跃的时间。这个值固定为5分钟。这个参数被设定为变量thread_pool.management.keep_alive。

• warmer操作的Executor：构建一个可伸缩的Executor构建器。key为warmer，value为ScalingExecutorBuilder对象，接收参数和对应操作如下：
  • settings：Node的配置settings。设定配置变量thread_pool.warmer.size的值为该参数中cpu的数量
  • name：线程池执行者的名称，也就是warmer，
  • size：线程的固定大小，上文提到的halfProcMaxAt5，和参数name一起构造配置变量thread_pool.warmer.size的值为size的值，本机跑的结果是4。
  • keepAlive：超过1个线程后，线程保持活跃的时间。这个值固定为5分钟。这个参数被设定为变量thread_pool.management.keep_alive。

• snapshot操作的Executor：构建一个可伸缩的Executor构建器。key为snapshot，value为ScalingExecutorBuilder对象，接收参数和对应操作如下：
  • settings：Node的配置settings。设定配置变量thread_pool.snapshot.size的值为该参数中cpu的数量
  • name：线程池执行者的名称，也就是snapshot，
  • size：线程的固定大小，上文提到的halfProcMaxAt5，和参数name一起构造配置变量thread_pool.snapshot.size的值为size的值，本机跑的结果是4。
  • keepAlive：超过1个线程后，线程保持活跃的时间。这个值固定为5分钟。这个参数被设定为变量thread_pool.management.keep_alive。

• 碎片处理操作的Executor：构建一个可伸缩的Executor构建器。key为fetch_shard_started，value为ScalingExecutorBuilder对象，接收参数和对应操作如下：
  • settings：Node的配置settings。设定配置变量thread_pool.fetch_shard_started.size的值为该参数中cpu的数量
  • name：线程池执行者的名称，也就是fetch_shard_started，
  • size：线程的固定大小，和参数name一起构造配置变量thread_pool.fetch_shard_started.size的值为size的值，本机跑的结果是4。
  • queueSize：阻塞队列的大小，构造配置变量thread_pool.fetch_shard_started.queue_size的值为200，注意这个值固定为200。

• 强制merge操作的Executor：构建一个可伸缩的Executor构建器。key为force_merge，value为ScalingExecutorBuilder对象，接收参数和对应操作如下：
  • settings：Node的配置settings。设定配置变量thread_pool.force_merge.size的值为该参数中cpu的数量
  • name：线程池执行者的名称，也就是force_merge，
  • size：线程的固定大小，和参数name一起构造配置变量thread_pool.force_merge.size的值为size的值，本机跑的结果是4。
  • queueSize：阻塞队列的大小，构造配置变量thread_pool.force_merge.queue_size的值为200，注意这个值固定为200。

• 获取碎片操作的Executor：构建一个可伸缩的Executor构建器。key为fetch_shard_store，value为ScalingExecutorBuilder对象，接收参数和对应操作如下：
  • settings：Node的配置settings。设定配置变量thread_pool.fetch_shard_store.size的值为该参数中cpu的数量
  • name：线程池执行者的名称，也就是fetch_shard_store，
  • size：线程的固定大小，和参数name一起构造配置变量thread_pool.fetch_shard_store.size的值为size的值，本机跑的结果是4。
  • queueSize：阻塞队列的大小，构造配置变量thread_pool.fetch_shard_store.queue_size的值为200，注意这个值固定为200。

至此就完成了org.elasticsearch.threadpool.ThreadPool对象的创建。

ThreadPool对象的作用

得到ThreadPool的对象后，通过线程池进行了NodeClient的构建。

client = new NodeClient(settings, threadPool);

和ResourceWatcherService对象的构建，

final ResourceWatcherService resourceWatcherService = new ResourceWatcherService(settings, threadPool);

后面还有很多的组件都用到了线程池，比如：

• IngestService
• ClusterInfoService
• MonitorService
• ActionModule
• IndicesService
• NetworkModule
• TransportService
• DiscoveryModule
• NodeService

可以看出都是ElasticSearch的核心组件，这些组件的功能和原理，我都会在以后的文章中讲解，而像ElasticSearch这种存储搜索系统来说IO操作肯定非常频繁，而线程池是专门致力于解决系统的IO问题，它在这些服务组件中的作用也显得愈发重要。

利特尔法则

查询操作中提到的利特尔法则是一种描述稳定系统中，三个变量之间关系的法则。

其中L表示平均请求数量，λ表示请求的频率，W表示响应请求的平均时间。举例来说，如果每秒请求数为10次，每个请求处理时间为1秒，那么在任何时刻都有10个请求正在被处理。回到我们的话题，就是需要使用10个线程来进行处理。如果单个请求的处理时间翻倍，那么处理的线程数也要翻倍，变成20个。

理解了处理时间对于请求处理效率的影响之后，我们会发现，通常理论上限可能不是线程池大小的最佳值。线程池上限还需要参考任务处理时间。

假设JVM可以并行处理1000个任务，如果每个请求处理时间不超过30秒，那么在最坏情况下，每秒最多只能处理33.3个请求。然而，如果每个请求只需要500毫秒，那么应用程序每秒可以处理2000个请求。