UAVStack之文件数据归集

2019-08-09 本文已影响89人宜信技术学院

本文重点介绍UAVStack中的文件数据归集功能。该功能可以有效解决日志查找费时和日志文件丢失等问题，帮助快速定位解决问题，规避日志访问权限可能带来的安全风险。

一、前言

在分布式微服务架构下，单个应用中往往包含很多实例。日常工作中，我们常常需要查看应用运行过程中产生的日志。但登陆服务器从大量实例中查找目标日志耗时耗力；有时日志文件还会在应用重启过程中丢失。

UAVStack的文件数据归集功能不仅能够集中所有业务的日志，方便工程师更加轻松地查找相关日志，进而快速定位、解决问题；还能省去服务器权限授予环节，有效规避日志访问权限可能带来的安全风险。

归集的文件数据包含应用日志、调用链跟踪、浏览器跟踪和线程分析的数据；也可以在启动参数中配置任意文件路径，配置其它任意文件；还支持UAVStack自身日志文件的归集控制。整体架构如下：

image

UAVStack的文件数据归集是MonitorAgent的Feature。MonitorAgent以守护进程的形式部署，如若死掉将会立即重启，重启后可继续归集文件数据。主要模块如下：

image

image

开启归集：文件数据归集模块自动发现应用日志的画像信息，并进行处理，判断应用日志画像信息是否更新；用户可控制应用日志、调用链跟踪、浏览器跟踪和线程分析的归集功能。AppHub支持启停文件数据归集功能，可动态选择需要读取的文件。
归集任务下发：当用户触发归集后，AppHub端会开启文件数据归集任务并自动下发，生成数据归集任务，写到任务列表中，并持久化到本地文件task.cache中。
归集任务控制：定时任务轮询管理任务列表，分别构建可执行的归集任务,并通过ForkJoin提交。
文件数据读取：读取ForkJoin提交的每个任务。其中需要处理的日志文件都是通过具体的类进行操作处理。这些类包括RandomAccessFile类，其中seek()方法随机访问文件，read()方法读取文件数据。另外，数据位置定时更新任务能够将读取到的数据的位置更新到本地文件position.cache，供下一次文件读取使用。
文件数据过滤：根据配置的日志策略，对读取的日志进行正则表达式的匹配过滤，完成日志数据取舍。
文件数据发布：归集上来的日志数据，可按照不同的发布类型走不同的发布实现逻辑，发布到指定的目的地。UAVStack默认发布到RocketMQ中，并支持自定义发布。

另外，HM服务拉取RocketMQ中指定topic的日志数据，处理成相应的格式后存储到ElasticSearch数据库中。

通过AppHub可以查看归集上来的应用日志、调用链跟踪、浏览器跟踪和线程分析的文件数据。由AppHub调用后台服务的http查询接口，通过HM日志数据服务读取数据库，进行文件数据的查询和展示，如下图所示：

image

文件数据的展示效果如下：

image

支持查看不同应用集群、应用实例和日志文件的归集数据。
支持按日、小时或分钟查看不同时间的文件数据。
支持按升序或降序查看文件数据。
支持关键字搜索，多个关键字用空格分开，表示“或”连接，即任意一个关键字匹配即可；多个关键字用“+”分开，表示“与”连接，即所有关键字都匹配的日志信息；如果同时使用空格和“+”，则“或”连接优先；如果关键字首尾都加“*”，则表示模糊匹配，展示所有匹配结果。
点击单行日志，支持向前、向后滚动查看日志信息，如下图：