实时动态获取日志文件中最新N条信息的功能——Java手写篇
2021-03-04 本文已影响0人
猿气十足
现象
日志文件是定位问题、解决问题的重要依据。
1.没集成日志可视化工具的项目，在正式环境导出日志文件这件事就比较繁琐。
2.有的项目现场只有运维人员，项目部署在内网，导致现场发现问题要把日志文件导出发给研发人员分析。
问题
1.日志文件体积大，传输麻烦。
2.运维人员不清楚日志位置，导致传错日志文件。
3.日志文件是txt文本，不易读。
提需求解决问题
1.日志可以实时在页面展示。运维人员可以根据日志页面提供精准的错误日志信息。
2.支持最新N条错误日志页面一键导出Excel。适用多个错误信息导出一并分析的情况，Excel格式更友好。
3.日志支持按照日期范围，错误类型等模糊搜索。方便统计，查询偶现错误日志。
实现思路
画类图
未命名文件 (2).jpg
类图简述
1.日志记录器：自定义一个定长队列把日志信息存在内存里面，可指定最大长度防止内存溢出。
2.日志读取任务：实现了Runnable接口，初始化时设置要解析的日志文件，每次解析完成后记录上次解析进展，支持增量解析。
3.日志执行器：定义了一个定时任务线程池，支持多日志文件同时解析，可以设置执行频率，保证了日志记录器里面日志信息保持最新状态。
编写定长队列
/**
* 固定长度队列
*
*/
public class LimitQueue<E> implements Queue<E> {
//队列长度
private int limit;
Queue<E> queue = new LinkedList<E>();
public LimitQueue(int limit){
this.limit = limit;
}
/**
* 入队
* @param e
*/
@Override
public boolean offer(E e){
if(queue.size() >= limit){
//如果超出长度,入队时,先出队
queue.poll();
}
return queue.offer(e);
}
/**
* 出队
* @return
*/
@Override
public E poll() {
return queue.poll();
}
/**
* 获取队列
* @return
*/
public Queue<E> getQueue(){
return queue;
}
/**
* 获取限制大小
* @return
*/
public int getLimit(){
return limit;
}
@Override
public boolean add(E e) {
return queue.add(e);
}
@Override
public E element() {
return queue.element();
}
@Override
public E peek() {
return queue.peek();
}
@Override
public boolean isEmpty() {
return queue.size() == 0 ? true : false;
}
@Override
public int size() {
return queue.size();
}
@Override
public E remove() {
return queue.remove();
}
@Override
public boolean addAll(Collection<? extends E> c) {
return queue.addAll(c);
}
@Override
public void clear() {
queue.clear();
}
@Override
public boolean contains(Object o) {
return queue.contains(o);
}
@Override
public boolean containsAll(Collection<?> c) {
return queue.containsAll(c);
}
@Override
public Iterator<E> iterator() {
return queue.iterator();
}
@Override
public boolean remove(Object o) {
return queue.remove(o);
}
@Override
public boolean removeAll(Collection<?> c) {
return queue.removeAll(c);
}
@Override
public boolean retainAll(Collection<?> c) {
return queue.retainAll(c);
}
@Override
public Object[] toArray() {
return queue.toArray();
}
@Override
public <T> T[] toArray(T[] a) {
return queue.toArray(a);
}
}
编写日志记录器
public class LogFileRecord {
/**
* 定义一个长度为1w的 定长队列
*/
private static LimitQueue<String> limitQueue = new LimitQueue<>(10000);
/**
* 获取最新1w条错误日志
* @return
*/
public static List<String> getAllLogInfos(){
return new ArrayList<>(limitQueue);
}
/**
* 添加错误日志 考虑了线程安全问题
* @param logInfo
*/
public synchronized static void addLogInfo(String logInfo){
limitQueue.add(logInfo);
}
}
编写日志读取任务（关键功能）
public class LogFileReader implements Runnable{
/**
* 设置换行符 如果是html 展现可以调整为</br>
*/
private String lineBreak = "\r\n";
/**
* 目标日志文件
*/
private File fileReader;
/**
* 上一次读取文件的大小
*/
private long lastReadFileSize = 0;
public LogFileReader(File fileReader){
this.fileReader = fileReader;
}
@Override
public void run() {
Thread.currentThread().setName("日志收集任务工作线程");
try {
RandomAccessFile randomAccessFile = new RandomAccessFile(fileReader,"r");
randomAccessFile.seek(lastReadFileSize);
String readLine = null;
StringBuilder stringBuilder = new StringBuilder();
while ((readLine = randomAccessFile.readLine()) != null) {
readLine = new String(readLine.getBytes("ISO-8859-1"),"utf-8");
if(isLogStart(readLine)) {//判断日志的开头
String logInfo = stringBuilder.toString();
if(logInfo != null && !logInfo.isEmpty()){
//if(logInfo.contains("ERROR")) { //仅记录ERROR
LogFileRecord.addLogInfo(stringBuilder.toString());//记录一次完整的日志日信息。
//}
}
stringBuilder = new StringBuilder();//记录后，重置日志信息
stringBuilder.append(readLine+lineBreak);
} else {
stringBuilder.append(readLine+lineBreak);
}
}
LogFileRecord.addLogInfo(stringBuilder.toString());//记录最后一次完整的日志日信息。
lastReadFileSize = fileReader.length();//设置本次读取进度
randomAccessFile.close();
} catch (Exception e) {
e.printStackTrace();
}
}
/**
* 正则匹配 日志文件的开头格式
* ps: 根据日志文件格式可定制化正则
* eg: 2021-03-03 23:38:24.125 INFO 16264 --- [ main] c.zn.scriptdbweb.ScriptdbWebApplication
* @param content
* @return
*/
private boolean isLogStart(String content) {
String pattern="[0-9][0-9][0-9][0-9]-[0-9][0-9]-[0-9][0-9].*";
boolean isMatch = Pattern.matches(pattern, content);
return isMatch;
}
}
编写日志执行器
public class LogFileExecuter {
private static ScheduledExecutorService scheduledExecutorService;
public static void init(int poolSize){
scheduledExecutorService = Executors.newScheduledThreadPool(poolSize);
}
public static void execute(LogFileReader logFileReader,int refreshSeconds){
scheduledExecutorService.scheduleWithFixedDelay(logFileReader,0,refreshSeconds, TimeUnit.SECONDS);
}
}
简单测试
创建一个文件 写入下面日志内容 我就放在E:\logfile.log
2021-03-03 23:38:24.125 INFO 16264 --- [ main] c.zn.scriptdbweb.ScriptdbWebApplication : Starting ScriptdbWebApplication using Java 1.8.0_112 on DESKTOP-R4F5Q2D with PID 16264 (D:\workspace\scriptdb-web\target\classes started by 86186 in D:\workspace\scriptdb-web)
2021-03-03 23:38:24.130 INFO 16264 --- [ main] c.zn.scriptdbweb.ScriptdbWebApplication : No active profile set, falling back to default profiles: default
2021-03-03 23:38:28.465 INFO 16264 --- [ main] .s.d.r.c.RepositoryConfigurationDelegate : Bootstrapping Spring Data JPA repositories in DEFAULT mode.
2021-03-03 23:38:28.670 INFO 16264 --- [ main] .s.d.r.c.RepositoryConfigurationDelegate : Finished Spring Data repository scanning in 177 ms. Found 3 JPA repository interfaces.
2021-03-03 23:38:29.614 INFO 16264 --- [ main] trationDelegate$BeanPostProcessorChecker : Bean 'org.springframework.security.access.expression.method.DefaultMethodSecurityExpressionHandler@3ba0ae41' of type [org.springframework.security.access.expression.method.DefaultMethodSecurityExpressionHandler] is not eligible for getting processed by all BeanPostProcessors (for example: not eligible for auto-proxying)
2021-03-03 23:38:29.620 INFO 16264 --- [ main] trationDelegate$BeanPostProcessorChecker : Bean 'methodSecurityMetadataSource' of type [org.springframework.security.access.method.DelegatingMethodSecurityMetadataSource] is not eligible for getting processed by all BeanPostProcessors (for example: not eligible for auto-proxying)
2021-03-03 23:38:30.260 INFO 16264 --- [ main] o.s.b.w.embedded.tomcat.TomcatWebServer : Tomcat initialized with port(s): 8080 (http)
创建一个测试类，这里直接使用main方法
public static void main(String[] args) throws InterruptedException {
File logFile = new File("E:\\logfile.log");
LogFileReader logFileReader = new LogFileReader(logFile);
LogFileExecuter.init(1);
LogFileExecuter.execute(logFileReader,3);
while (true){
List<String> allLogInfos = LogFileRecord.getAllLogInfos();
for (String info:allLogInfos){
System.out.println(info);
}
Thread.sleep(3000);
}
}
执行main方法，控制台输出内容为日志内容，可以手动向日志追加内容，可以增量读取，自测完成。
总结
至此完成了一个简单的日志读取功能。回顾那三个需求。
需求1可以编写接口和页面，直接展示定长队列里的错误信息。
需求2可以通过优化日志记录器（LogFileRecord ）,增加一个导出Excel的功能，点击导出把队列里面的信息写入Excel，java操作Excel具体实现可参考https://www.jianshu.com/p/708d58b1ec21。
需求3相对复杂，需要借助中间件实现，比如日志信息存入数据库，更好的办法是存入es。可以通过改造日志记录器（LogFileRecord ）的记录日志功能实现。
相关知识点
RandomAccessFile：实现了文件增量读取。
String pattern="[0-9][0-9][0-9][0-9]-[0-9][0-9]-[0-9][0-9].*" : 正则表达式识别日志开头信息。
LimitQueue: 编写定长队列，主要改造了入队方法，如果超出长度,入队时,先出队。
ScheduledExecutorService: 一个可以执行定时任务的线程池。
