DView项目问题总结

DView是一款网管系统，基于Spring Boot开发，Maven构建，主要包含5个模块：

• Probe：与网络设备交互的服务，执行具体的网络管理指令，如：更新网络设备软件、发现网络中的设备、监视网络设备等等
• CoreServer：负责发送相关的网管指令到Probe，并处理Probe返回的相关数据，数据存储、查询等任务
• DataServer：数据库服务，为CoreServer提供数据接口，使用MongoDB作为持久化数据库，Redis作为缓存数据库
• WebServer：用户操作界面，用户进行的各种操作将会发送给CoreServe
• Common：公共的数据结构、方法等

通过 java -jar dataServer-0.0.1-SNAPSHOT.jar.jar --spring.config.location=application.properties外部化配置不生效？

我们使用Docker部署Probe、CoreServer、DataServer、WebSiteServer，考虑到部署的时候需要根据具体情况修改配置文件，所有配置文件不能放在classpath中，就将配置文件copy一份放在和JAR同一级的目录下，并在Docker中通过java -jar dataServer-0.0.1-SNAPSHOT.jar.jar --spring.config.location=application.properties来指定配置文件的路径，我们的初衷是利用Spring Boot加载配置文件的优先级机制，通过显示指定配置文件，从而实现配置的外部化，但是，当通过上面那种方式启动时发现程序运行的时候始终使用的是classpath下的application.properties，而不是用我们显示指定的spring.config.location=application.properties文件
难道Spring Boot加载的配置文件的优先级不是：当前目录下的/config子目录>当前目录>classpath下的/config包>classpath根路径？
等等，先来看看DataServer中配置文件的使用方式，如下：

application-dev.properties
application-prod.properties
application.properties

为了应对多环境，我们使用了Profiles，在application.properties指定内容如下：

spring.profiles.active=prod

我们错误的认为在启动的时候指定了配置文件的路径，Spring Boot就会加载并使用这个配置文件，而忽略其它存在的配置文件
后来通过查阅资料和阅读源码，发现spring.config.location=application.properties仅仅是为Spring Boot添加了额外的属性文件搜索路径，当classpath路径下存application.properties文件时，无论如何，Spring Boot都会先加载该配置文件，如果其中指定了profiles，之后Spring Boot会加载profiles对应的配置文件，我们在application.properties指定了spring.profiles.active=prod，所有Spring Boot会查找名为application-prod.properties的配置文件，但是因为我们在spring.config.location中给定的值是application.properties，所以对于Spring Boot而言，application-prod.properties配置文件只存在于classpath下，故它每次加载并使用的就是classpath下的application-prod.properties，所有，是我们在spring.config.location给定的名字错了，修改为spring.config.location=application-prod.properties，即可（注意：放在与JAR同级目录下的属性配置文件名也要改成application-prod.properties）

使用RateLimiter实现限流出现的问题

在高并发系统中一般会采用3种方式来保护系统：
1.缓存：可以提升系统的访问速度和增大系统处理容量
2.降级：当服务出现问题或者影响到系统的核心流程时，需要暂时屏蔽掉相关服务
3.限流：通过限制并发访问速率，当达到限制速率时就采取拒绝服务、排队或降级等策略
RateLimiter是Google开源工具包Guava提供的一个限流工具类，基于令牌桶算法
在DataServer中，使用RateLimiter实现了简单的对RESTful API访问限速机制
POM文件中加入如下依赖

<dependency>
    <groupId>com.google.guava</groupId>
    <artifactId>guava</artifactId>
    <version>19.0</version>
</dependency>

考虑到所有的RESTful API访问都要进行限流，所以基于Filter实现，在Filter中实现限流的逻辑，因为所有请求都要经过Filter，代码很简单

@Component
public class APICallRateLimiter implements Filter {
    
    /**
     * 限流大小
     */
    @Value("${api.restful.rate.limit}")
    private double rateLimit;
    
    /**
     * 等待时间
     */
    @Value("${api.restful.wait.time}")
    private long waitTime;
    
    public void setWaitTime(long waitTime) {
        this.waitTime = waitTime;
    }
    
    @Override
    public void destroy() {
        
    }

    @Override
    public void doFilter(ServletRequest request, ServletResponse response, FilterChain chain)
        throws IOException, ServletException {
        //使用限制，允许的并发请求
        RateLimiter rateLimiter = RateLimiter.create(this.rateLimit);
        //阻塞式
        //rateLimiter.acquire();
        //非阻塞式，允许等待的时间
        if (rateLimiter.tryAcquire(this.waitTime, TimeUnit.MILLISECONDS)) {
            chain.doFilter(request, response);
        }
    }

    @Override
    public void init(FilterConfig config) throws ServletException {
        
    }
}

注册我们上面自定义的APICallRateLimiter到Spring中

@Configuration
public class APIConfig {
    
    /**
     * 限制的URL
     */
    @Value("${api.restful.limit.url}")
    private String limitURL;
    
    /**
     * Description: 配置过滤器到Spring容器<br> 
     *  
     * @author GC<br>
     * @return <br>
     */
    @Bean
    public FilterRegistrationBean<APICallRateLimiter> apiFilter() {
        FilterRegistrationBean<APICallRateLimiter> registrationBean = new FilterRegistrationBean<APICallRateLimiter>();
        registrationBean.setFilter(new APICallRateLimiter());
        List<String> urls = new ArrayList<String>();
        urls.add(this.limitURL);
        registrationBean.setUrlPatterns(urls);
        return registrationBean;
    }
}

主要碰到了如下几个问题：
1.APICallRateLimiter类中不能通过@Value方式获取配置文件中的api.restful.rate.limit、api.restful.wait.time等值
2.RateLimiter并没有生效，没有起到限流的作用
第1个问题是因为默认情况下Filter是不被Spring自动管理的，所以获取不到属性配置文件中的值，为了能够获取属性配置文件中的值，可以将我们自定义的Filter交由Spring管理，很简单，定义一个创建自定义Filter的方法，然后在该方法上添加@Bean
第2个问题算是实现逻辑上的问题，因为每次请求都会触发doFilter，所以RateLimiter每次也会被重新创建，对于每一次请求而言都是使用的不同的RateLimiter，所以需要将RateLimiter变成声明一次，多次使用
最终修改代码如下：

@Component
public class APICallRateFilter implements Filter {
    
    /**
     * 等待时间
     */
    private long waitTime;
    
    /**
     * RateLimiter
     */
    @Autowired
    private RateLimiter rateLimiter;
    
    public void setWaitTime(long waitTime) {
        this.waitTime = waitTime;
    }
    
    @Override
    public void destroy() {
        
    }

    @Override
    public void doFilter(ServletRequest request, ServletResponse response, FilterChain chain)
        throws IOException, ServletException {
        //使用限制，允许的并发请求
        //阻塞式
        //rateLimiter.acquire();
        //非阻塞式，允许等待的时间
        if (this.rateLimiter.tryAcquire(this.waitTime, TimeUnit.MILLISECONDS)) {
            chain.doFilter(request, response);
        }
    }

    @Override
    public void init(FilterConfig config) throws ServletException {
        
    }
}

@Configuration
public class WebConfig {
    
    /**
     * 限流大小
     */
    @Value("${api.restful.rate.limit}")
    private double rateLimit;
    
    /**
     * 等待时间
     */
    @Value("${api.restful.wait.time}")
    private long waitTime;
    
    /**
     * 限制的URL
     */
    @Value("${api.restful.limit.url}")
    private String limitURL;
    
    /**
     * Description: 创建APIFilter<br> 
     *  
     * @author GC <br>
     * @return APIFilter <br>
     */
    @Bean
    public APICallRateFilter createAPIFilter() {
        APICallRateFilter apiFilter = new APICallRateFilter();
        apiFilter.setWaitTime(waitTime);
        return apiFilter;
    }
    
    /**
     * Description: 创建RateLimiter<br> 
     *  
     * @author GC<br>
     * @return RateLimiter<br>
     */
    @Bean
    public RateLimiter createRateLimiter() {
        RateLimiter rateLimiter = RateLimiter.create(this.rateLimit);
        return rateLimiter;
    }
    
    /**
     * Description: 配置过滤器到Spring容器<br> 
     *  
     * @author GC<br>
     * @return <br>
     */
    @Bean
    public FilterRegistrationBean<APICallRateFilter> apiFilter() {
        FilterRegistrationBean<APICallRateFilter> registrationBean = new FilterRegistrationBean<APICallRateFilter>();
        registrationBean.setFilter(createAPIFilter());
        List<String> urls = new ArrayList<String>();
        urls.add(this.limitURL);
        registrationBean.setUrlPatterns(urls);
        return registrationBean;
    }
}

使用Apache开源的压力测试工具JMeter进行测试，设置1s启动500个线程模拟500/s的并发请求，其中RateLimiter的相关参数如下，测试结果如下图所示

#Current limiting setting
api.restful.limit.url=/api/db/*
api.restful.rate.limit=100
api.restful.wait.time=5000

JMeter测试结果

可以看到整个测试结果表明，对于500个并发请求，通过使用RateLimiter控制后，系统处理完500个请求总共耗时4s