并发场景org.apache.http.conn.Connect

起因

线上运行的公众号模板消息批量推送时会有10%左右的失败，这在测试环境下并未出现，日志定位为如下错误：

org.apache.http.conn.ConnectionPoolTimeoutException: Timeout waiting for connection from pool
    at org.apache.http.impl.conn.PoolingHttpClientConnectionManager.leaseConnection(PoolingHttpClientConnectionManager.java:316)
    at org.apache.http.impl.conn.PoolingHttpClientConnectionManager$1.get(PoolingHttpClientConnectionManager.java:282)
    at org.apache.http.impl.execchain.MainClientExec.execute(MainClientExec.java:190)

先说结果

使用的公众号开发SDK使用HttpClient作为HTTP请求工具，并默认设置connectionRequestTimeout=3000。此问题与请求服务端无关，抛出这个异常时请求还未从客户端发出，它实际是由于大量HTTP请求需处理时连接池没有可用连接，等待超过设置时间抛出异常。虽然我们发送模板消息时使用了线程池，但线程池最大线程数（30）多于HttpClient默认maxConnPerHost连接池数量（10），所以网络请求相对较慢依然会造成请求堆积。
connectionRequestTimeout=3000参数的含义：当一个线程需要发送HTTP请求时，从连接池取一个连接，如果等待3秒还未取到可用连接，那么直接抛出异常不再发送此请求。
maxConnPerHost参数含义：默认是10，每个服务域名最多给多少个连接，一般少于总连接数
所以解决这个问题有以下几种方式可以解决

• 更改connectionRequestTimeout参数，调到更长时间可减少此异常发生几率，或者直接设置为-1让此参数失效
• 多线程HTTP请求时控制线程数不要超过maxConnPerHost
• 如机器性能较号可调高maxConnPerHost参数，增加允许并发量

分析

推送模板消息实际是通过构造参数发送POST请求腾讯微信公众平台，测试环境没有进行大量并发测试（推送模板消息需要真实的粉丝用户openid，测试号没有很多粉丝）。那么是使用配置不当？网络不稳定导致请求发送不成功？还是HttpClient 并发有bug？HttpClient 是apache出品的成熟工具，发送模板消息使用的SDK已做了请求失败重试，还是先检查是不是自己使用配置的问题。

我们知道HttpClient是有配置连接池的，这个错误一看就能大概猜到是从连接池获取连接超时，可是为什么会出现这个错误？超出连接池连接数量的请求不是应该在排队等待？

经过模拟脚本模仿生产环境配置参数，并多次调整配置参数测试，定位问题为connectionRequestTimeout参数配置不当。

模拟测试

模拟环境如下

• JDK1.8
• HttpClient 4.5.11

模拟代码如下

import org.apache.http.Consts;
import org.apache.http.client.config.RequestConfig;
import org.apache.http.client.methods.CloseableHttpResponse;
import org.apache.http.client.methods.HttpPost;
import org.apache.http.entity.StringEntity;
import org.apache.http.impl.client.BasicResponseHandler;
import org.apache.http.impl.client.CloseableHttpClient;
import org.apache.http.impl.client.HttpClients;

import java.io.IOException;
import java.util.concurrent.CountDownLatch;
import java.util.concurrent.ExecutorService;
import java.util.concurrent.Executors;
import java.util.concurrent.atomic.AtomicInteger;

public class Test {
    static CloseableHttpClient httpClient = HttpClients.createDefault();
    static ExecutorService excutor = Executors.newFixedThreadPool(30);
    static RequestConfig requestConfig = RequestConfig.custom()
            .setConnectionRequestTimeout(100).build();//设置获取连接超时时间，为重现问题这里故意设置比较小
    static final String TEST_URL = "http://pv.sohu.com/cityjson";//测试链接，这里使用搜狐的开放IP查询接口

    public static void main(String[] args) throws InterruptedException {
        final int testCount = 500;//任务重复次数
        AtomicInteger successCount = new AtomicInteger(0);//请求成功数量
        CountDownLatch latch  = new CountDownLatch(testCount);//用于判断线程池中任务是否全部执行完毕
        Long time1 = System.currentTimeMillis();
        for (int i = 0; i < testCount; i++) {
            excutor.submit(()->{
                String res = httpPost(TEST_URL,null);
                System.out.println(res);
                if(null!=res && !res.isEmpty())successCount.addAndGet(1);
                latch.countDown();
            });
        }
        latch.await();//等待线程池中的线程全部执行完
        Long time2 = System.currentTimeMillis();
        System.out.println("耗时："+(time2-time1)+"毫秒,成功："+successCount.get());
        excutor.shutdown();
    }
    public static String httpPost(String uri,String data){
        HttpPost  post = new HttpPost(uri);
        post.setConfig(requestConfig);
        if(data!=null){
            StringEntity entity = new StringEntity(data, Consts.UTF_8);
            post.setEntity(entity);
        }
        CloseableHttpResponse response=null;
        try {
            response = httpClient.execute(post);
            int statusCode = response.getStatusLine().getStatusCode();
            return new BasicResponseHandler().handleResponse(response);
        } catch (IOException e) {
            e.printStackTrace();
        }finally {
            post.releaseConnection();
        }
        return null;
    }
}

测试结果，500个请求成功27个😂，大量的ConnectionPoolTimeoutException

耗时：862毫秒,成功：27

调整参数测试

static RequestConfig requestConfig = RequestConfig.custom()
            .setConnectionRequestTimeout(1000).build();//设置请求连接超时时间

• 请求连接超时时间：1000 （1秒）

  耗时：9459毫秒,成功：420

• 请求连接超时时间：3000 （3秒）

  耗时：11093毫秒,成功：500

说明这个模拟测试脚本里面，请求连接超时时间设置到3S可以达到100%成功，但是生产环境对发送成功率要求很高，设置3S超时合适吗？所以再看看HttpClient源码来找找答案：

//获取连接关键代码，有精简：org.apache.http.impl.conn.PoolingHttpClientConnectionManager#leaseConnection
protected HttpClientConnection leaseConnection(Future<CPoolEntry> future, long timeout, TimeUnit timeUnit) throws InterruptedException, ExecutionException, ConnectionPoolTimeoutException {
        try {
            CPoolEntry entry = (CPoolEntry)future.get(timeout, timeUnit);
            if (entry != null && !future.isCancelled()) {
                Asserts.check(entry.getConnection() != null, "Pool entry with no connection");
                //...
                return CPoolProxy.newProxy(entry);
            } else {
                throw new ExecutionException(new CancellationException("Operation cancelled"));
            }
        } catch (TimeoutException var7) {
            throw new ConnectionPoolTimeoutException("Timeout waiting for connection from pool");
        }
    }

其中连接从Future<CPoolEntry>中获取，其默认connectionRequestTimeout=-1，也就是永不过期，生产环境要求请求一定要成功，所以设置一直等待获取连接即可！

配置参考

connectionRequestTimout：指从连接池获取连接的timeout
connetionTimeout：指客户端和服务器建立连接的timeout，就是http请求的三个阶段，一：建立连接；二：数据传送；三，断开连接。超时后会ConnectionTimeOutException
socketTimeout：指客户端从服务器读取数据的timeout，超出后会抛出SocketTimeOutException