程序员NettyJava 杂谈

Netty4 实战精华EventLoop 和线程模型

2018-07-15  本文已影响147人  紫霞等了至尊宝五百年

简单地说,线程模型指定了操作系统、编程语言、框架或者应用程序的上下文中的线程管理的关键方面。
显而易见地,如何以及何时创建线程将对应用程序代码的执行产生显著的影响,因此开发人员需要理解与不同模型相关的权衡。

在本文中,我们将详细地探讨 Netty 的线程模型。它强大但又易用,并且和 Netty 的一贯宗旨一样,旨在简化你的应用程序代码,同时最大限度地提高性能和可维护性。我们还将讨论致使选择当前线程模型的经验。

如果你对 Java 的并发 API(java.util.concurrent)有比较好的理解,那么你应该会发
现在本章中的讨论都是直截了当的。如果这些概念对你来说还比较陌生,或者你需要更新自己的
相关知识,那么由 Brian Goetz 等编写的《Java 并发编程实战》 (Addison-Wesley Professional,
2006)这本书将是极好的资源。

1 线程模型概述

在早期的 Java 语言中,我们使用多线程处理的主要方式无非是按需创建和启动新的 Thread 来执行并发的任务单元——一种在高负载下工作得很差的原始方式。Java 5 随后引入了 Executor API,其线程池通过缓存和重用Thread 极大地提高了性能。
基本的线程池化模式可以描述为:

2 EventLoop 接口

运行任务来处理在连接的生命周期内发生的事件是任何网络框架的基本功能。
与之相应的编程上的构造通常被称为事件循环—一个Netty 使用了 interface io.netty.channel.EventLoop来适配的术语。

代码清单1-在事件循环中执行任务
Netty 的 EventLoop 是协同设计的一部分,它采用了两个基本的 API:并发和网络编程。

2.1Netty 4 中的 I/O 和事件处理

由 I/O 操作触发的事件将流经安装了一个或者多个ChannelHandlerChannelPipeline
传播这些事件的方法调用可以随后被 ChannelHandler所拦截,并且可以按需地处理事件。

事件的性质通常决定了它将被如何处理;它可能将数据从网络栈中传递到你的应用程序中,或者进行逆向操作,或者执行一些截然不同的操作。
但是事件的处理逻辑必须足够的通用和灵活,以处理所有可能的用例。因此,在Netty 4 中,所有的I/O操作和事件都由已经被分配给了EventLoop的那个Thread来处理(这里使用的是“来处理”而不是“来触发”,其中写操作是可以从外部的任意线程触发的)

2.2 Netty 3 中的 I/O 操作

在以前的版本中所使用的线程模型只保证了

开始看起来这似乎是个好主意,但是已经被发现是有问题的,因为需要在ChannelHandler中对出站事件进行仔细的同步。简而言之,不可能保证多个线程不会在同一时刻尝试访问出站事件。例如,如果你通过在不同的线程中调用 Channel.write()方法,针对同一个 Channel 同时触发出站的事件,就会发生这种情况。
当出站事件触发了入站事件时,将会导致另一个负面影响。当 Channel.write()方法导致异常时,需要生成并触发一个 exceptionCaught 事件。但是在 Netty 3 的模型中,由于这是一个入站事件,需要在调用线程中执行代码,然后将事件移交给 I/O 线程去执行,然而这将带来额外的上下文切换。

Netty 4 中所采用的线程模型,通过在同一个线程中处理某个给定的 EventLoop中所产生的所有事件,解决了这个问题。这提供了一个更加简单的执行体系架构,并且消除了在多个ChannelHandler中进行同步的需要(除了任何可能需要在多个 Channel 中共享的)。

现在,已经理解了 EventLoop 的角色,让我们来看看任务是如何被调度执行的吧。

3 任务调度

偶尔,你将需要调度一个任务以便稍后(延迟)执行或者周期性地执行。
例如,你可能想要注册一个在客户端已经连接了 5 分钟之后触发的任务。一个常见的用例是,发送心跳消息到远程节点,以检查连接是否仍然还活着。如果没有响应,你便知道可以关闭该 Channel 了。

在接下来的几节中,我们将展示如何使用核心的 Java API 和 Netty 的EventLoop来调度任务。然后,我们将研究 Netty 的内部实现,并讨论它的优点和局限性。

3.1 JDK 的任务调度 API

在 Java 5 之前,任务调度是建立在 java.util.Timer类之上的,其使用了一个后台 Thread,并且具有与标准线程相同的限制。
随后,JDK 提供了java.util.concurrent包,它定义了interface ScheduledExecutorService


虽然选择不是很多(由JDK提供的这个接口的唯一具体实现是java.util.concurrent.ScheduledThreadPoolExecutor),但是这些预置的实现已经足以应对大多数的用例
代码清单2-使用 ScheduledExecutorService 调度任务
代码清单2显示了如何使用ScheduledExecutorService来在 60 秒的延迟之后执行一个任务。
虽然ScheduledExecutorServiceAPI 是直截了当的,但是在高负载下它将带来性能上的负担,下面看看 Netty 是如何以更高的效率提供相同的功能的。

3.2 使用 EventLoop 调度任务

ScheduledExecutorService的实现具有局限性,例如,事实上作为线程池管理的一部分,将会有额外的线程创建。如果有大量任务被紧凑地调度,那么这将成为一个瓶颈
Netty 通过 Channel 的 EventLoop 实现任务调度解决了这一问题,如代码清单3 所示

代码清单3-使用 EventLoop 调度任务
经过 60 秒之后,Runnable 实例将由分配给 Channel 的 EventLoop 执行。如果要调度任务以每隔 60 秒执行一次,请使用 scheduleAtFixedRate()方法,如代码清单4 所示
代码清单4 使用 EventLoop 调度周期性的任务
如我们前面所提到的,Netty的EventLoop扩展了ScheduledExecutorService,所以它提供了使用JDK实现可用的所有方法,包括在前面的示例中使用到的schedule()scheduleAtFixedRate()方法。所有操作的完整列表可以在ScheduledExecutorService的Javadoc(Java平台,标准版第8版API规范,java.util.concurrent,Interface ScheduledExecutorService:http://docs.oracle.
com/javase/8/docs/api/java/util/concurrent/ScheduledExecutorService.html。)中找到
要想取消或者检查(被调度任务的)执行状态,可以使用每个异步操作所返回的 ScheduledFuture,代码清单5 展示了一个简单的取消操作。
代码清单5 使用 ScheduledFuture 取消任务

4 实现细节

这一节将更加详细地探讨 Netty 的线程模型和任务调度实现的主要内容。我们也将会提到需
要注意的局限性,以及正在不断发展中的领域。

4.1 线程管理

Netty线程模型的卓越性能取决于对于当前执行的Thread的身份的确定(通过调用EventLoopinEventLoop(Thread)实现负责处理一个Channel的整个生命周期内的所有事件)

如果(当前)调用线程正是支撑 EventLoop 的线程,那么所提交的代码块将会被(直接)执行。
否则,EventLoop 将调度该任务以便稍后执行,并将它放入到内部队列中。当 EventLoop下次处理它的事件时,它会执行队列中的那些任务/事件。这也就解释了任何的 Thread 是如何与 Channel 直接交互而无需在 ChannelHandler 中进行额外同步的。
每个 EventLoop 都有它自已的任务队列,独立于任何其他的 EventLoop
图3展示了 EventLoop 用于调度任务的执行逻辑。这是 Netty 线程模型的关键组成部分

图3-EventLoop 的执行逻辑
永远不要将一个长时间运行的任务放入到执行队列中,因为它将阻塞需要在同一线程上执行的任何其他任务
如果必须要进行阻塞调用或者执行长时间运行的任务,我们建议使用一个专门的EventExecutor(TODO:见 6.2.1 节的“ChannelHandler 的执行和阻塞”)
除了这种受限的场景,如同传输所采用的不同的事件处理实现一样,所使用的线程模型也可强烈影响到排队的任务对整体系统性能的影响(如同我们在第 4 章中所看到的,使用 Netty可以轻松地切换到不同的传输实现,而不需要修改你的代码库)

4.2 EventLoop/线程的分配

服务于 Channel 的 I/O 和事件的EventLoop 包含在 EventLoopGroup中。
根据不同的传输实现,EventLoop的创建和分配方式也不同。

图 5 阻塞传输(如 OIO)的 EventLoop 分配方式
但正如之前一样,得到的保证是每个 Channel 的 I/O 事件都将只会被一个 Thread(用于支撑该 Channel 的 EventLoop 的那个 Thread)处理。这也是另一个Netty 设计一致性的例子,它(这种设计上的一致性)对 Netty 的可靠性和易用性做出了巨大贡献

5 小结

上一篇 下一篇

猜你喜欢

热点阅读