javadocker

日志收集和链路追踪：skywalking

2022-06-29  本文已影响0人  乌云暴雨

如果能跟踪每个请求，中间请求经过哪些微服务，请求耗时，网络延迟，业务逻辑耗时等。我们就能更好地分析系统瓶颈、解决系统问题，因此链路跟踪很重要。

想在无代码入侵前提下实现：
查看服务之间链路调用关系；
把各个微服务分散的日志收集起来；
监控分析系统情况；
用SkyWalking吧，它不会让你失望。

skywalking介绍

国人开源的产品，主要开发人员来自于华为，2019年SkyWalking加入Apache成为顶级项目，支持Java、.Net、NodeJs等探针，数据存储支持h2、Mysql、Elasticsearch等。采用字节码注入的方式实现无代码侵入，功能全面，性能优秀，且对云原生支持，目前增长势头强劲，社区活跃，其链路追踪，性能监控，日志收集、告警等功能被开发者广泛使用，遗憾中文文档很少，使用不便。
介绍参考：https://www.jianshu.com/p/ffa7ddcda4ab
官网：https://skywalking.apache.org
github：https://github.com/apache/skywalking
中文文档：https://skyapm.github.io/document-cn-translation-of-skywalking/

前言

网上很多文档不全，踩了很多坑。
本指南为单机安装，安装的系统为centos7.6。
确保服务器通外网。
安装涉及到的版本：
存储 ：elasticsearch 7.10.2
服务端：skywalking-oap-server 8.9.0
前端界面：skywalking-ui 8.9.0
探针：skywalking-agent 8.9.0
不建议太低版本，功能不全。

1. 安装

这里介绍单价压缩包安装和单机docker安装

1.1 单机压缩包安装

1.1.1 下载

地址： http://skywalking.apache.org/downloads/ 或 https://archive.apache.org/dist/skywalking/

1.1.2 解压

tar -zxvf apache-skywalking-apm-8.9.0.tar.gz

1.1.3 修改配置

确保如下端口可用：
11800：和Skywalking通信的gRPC端口；12800：和Skywalking通信的HTTP端口；8080：UI所占用的端口 。
如果端口被占用，在它的config目录下，编辑它的配置文件 application.yml ，修改端口。
配置详解：https://blog.csdn.net/lizz861109/article/details/114578826

1.1.4 关于存储

建议用elasticsearch ，安装方法请自行搜索。

1.1.5 启动

进入它的bin目录下，sh startup.sh 即可。
访问 http://ip:8080 看到页面成功。

1.2 单机docker-compose安装

确保系统已经安装docker和docker-compose。

1.2.1 创建目录

创建目录：mkdir /home/elasticsearch/data
这个目录是存放es数据的地方，不一定是home下，只不过我的home下存储空间较多，建议你也放到存储空间较大的目录下，但是千万记得要同步修改下面skywalking-docker-compose_3.3.yaml文件中的路径（下图标红的）。


11.jpg

1.2.2 配置文件

下载地址：https://pan.baidu.com/s/1rlfkpjKVbRoSTL_uKeNQ4Q?pwd=jghs
或者自己编写：
mkdir /usr/local/skywalking
cd /usr/local/skywalking
vim skywalking-docker-compose_3.3.yaml
复制粘贴以下内容

version: '3.3'
services:
  elasticsearch:
    image: docker.elastic.co/elasticsearch/elasticsearch:7.10.2
    container_name: elasticsearch
    restart: always
    ports:
      - 9200:9200
    environment:
      - "discovery.type=single-node" #单机模式启动
      - "TZ=Asia/Shanghai" # 设置时区
      - "bootstrap.memory_lock=true" #锁定物理内存地址，防止es内存被交换出去，也就是避免es使用swap交换分区，频繁的交换，会导致IOPS变高
      - "ES_JAVA_OPTS=-Xms1024m -Xmx1024m" # 设置jvm内存大小
    volumes:
      - /home/elasticsearch/data:/usr/share/elasticsearch/data
    ulimits:
      memlock:
        soft: -1
        hard: -1
  skywalking-oap-server:
    image: apache/skywalking-oap-server:8.9.0
    container_name: skywalking-oap-server
    depends_on:
      - elasticsearch
    links:
      - elasticsearch
    restart: always
    ports:
      - 11800:11800
      - 12800:12800
    environment:
      SW_CORE_RECORD_DATA_TTL: 7 #记录数据的有效期，单位天
      SW_CORE_METRICS_DATA_TTL: 7 #分析指标数据的有效期，单位天
      SW_STORAGE: elasticsearch  #指定存储为es，此参数可以传到skywalking中的配置
      SW_STORAGE_ES_CLUSTER_NODES: elasticsearch:9200 #指定es服务端口
      TZ: Asia/Shanghai
  skywalking-ui:
    image: apache/skywalking-ui:8.9.0
    container_name: skywalking-ui
    depends_on:
      - skywalking-oap-server
    links:
      - skywalking-oap-server
    restart: always
    ports:
      - 8080:8080
    environment:
      SW_OAP_ADDRESS: http://skywalking-oap-server:12800
      TZ: Asia/Shanghai

1.2.3 启动

在上面配置文件同级目录下执行命令：
docker-compose -f skywalking-docker-compose_3.3.yaml up -d
等待几分钟出现下面提示说明成功
Starting elasticsearch ... done
Recreating skywalking-oap-server ... done
Recreating skywalking-ui ... done

1.2.4 访问

http://ip:8080
第一次启动页面加载较慢，等待1-3分钟，出现如下界面，说明成功。

12.jpg

1.2.5 注意事项

1、skywalking-docker-compose_3.3.yaml配置文件中的 端口都是可以修改的，如果默认端口有冲突，请修改端口，并且确认新端口可用。
2、如果http://ip:8080无法访问，大概率是端口问题，可以先telnet一下，然后检查自己的服务器是否有防火墙，是否没开放端口，或者有其他网络限制。
3、如果http://ip:8080可以访问，但是展示不全，请等待1-3分钟，如果还是显示不全，可能是后端或者es不通，请检查/home/elasticsearch/data目录是否有足够的权限，确保es对此目录有读写权限，否则会出现未知异常。另外其他自己有定义或者映射的目录也要有足够权限。
4、数据保存时间
SW_CORE_RECORD_DATA_TTL: 7 #记录数据的有效期，单位天
SW_CORE_METRICS_DATA_TTL: 7 #分析指标数据的有效期，单位天
根据自己的实际需求修改，重启后生效。
5、命令
停止：docker-compose -f skywalking-docker-compose_3.3.yaml stop
启动：docker-compose -f skywalking-docker-compose_3.3.yaml up -d

2. 使用

在上面服务端安装好了以后，还需要客户端结合探针skywalking-agent才能产生数据。
有数据效果如下图：


18.jpg

先下载探针并解压：https://archive.apache.org/dist/skywalking/java-agent/
下载8.9.0版本跟服务端版本要保持一直。

13.jpg

这里介绍关于Java探针使用三种常用方式
不管哪种方式都需要在你的启动指令中加入以下内容：

-javaagent:你的探针绝对路径\skywalking-agent.jar -Dskywalking.agent.service_name=你的服务名称 -Dskywalking.collector.backend_service=ip:11800

注意：你自己的服务jar包一定要放到最后；ip端口是你的skywalking后台上传数据的ip端口；其中的skywalking-agent.jar路径，服务名，ip端口都要以你的实际为准（下图标红的）。


16.jpg

2.1 方式一：IDEA使用探针

idea中配置示例：


15.jpg

2.2 方式二：jar包方式使用探针

用java -jar或者nohup或者用脚本启动，示例：
java -javaagent:/home/skywalking/skywalking-agent/skywalking-agent.jar -Dskywalking.agent.service_name=admin -Dskywalking.collector.backend_service=192.168.99:11800 -jar admin.jar &

2.3 方式三：docker方式使用探针

修改你的Dockerfile文件，
加入两行：
COPY skywalking-agent /usr/local/agent
"java -javaagent:/usr/local/agent/skywalking-agent.jar -Dskywalking.agent.service_name=admin -Dskywalking.collector.backend_service=172.17.0.1:11800
这里有几点注意：
1.docker COPY只能复制同级目录下的文件，所以，一定要把探针放到Dockerfile所在目录下。
2.skywalking-agent一定是整个文件夹里，不仅仅是skywalking-agent.jar。
3.-javaagent:后的路径为docker容器的内部路径。
4.-Dskywalking.collector.backend_service后的ip 有几种情况：


17.jpg

容器部署的，比如docker，127.0.0.1只是容器内有效，不能代表宿主机本机，所以即使在同一台机器也不能写127.0.0.1，可以试试，是不通的。
172.17.0.1这个ip是docker默认虚拟网卡的网关ip，通过这个ip,请求可以达到宿主机，当然写实际的物理ip也是可以的，但是考虑到很多项目是交付性的，skywalking的地址总是不同，都要改挺麻烦的，写172.17.0.1就通用了，前提是在同一台机器哦。

3. 结尾

  1. 上面涉及到skywalking的一些配置，都是通过传参的方式，其实在skywalking和探针文件夹下面的配置文件都是修改的，但是比较死板，不灵活。具体操作可以自行搜索文档，这里不再赘述。

  2. skywalking收集数据是异步的，不用担心影响自己服务性能，skywalking占用资源很小，单机性能很强，放心使用，如果单机不能满足，可以考虑集群方式，比如部署几台skywalking然后通过haproxy代理，配置放在nacos等，具体请自行搜索方案。

  3. skywalking-agent的目录下，optional-plugins是可选追踪插件，plugins是默认追踪插件，如果觉得默认的不够，没有涵盖到自己想要追踪的，可以复制optional-plugins里面的增加到plugins，当然觉得有些不想看到也可以减少插件，里面的jar基本上都能见名知意，改变后，客户端服务重启生效。


    19.jpg

同时需要做日志追踪请看这里：
https://www.jianshu.com/p/c93e55b1c011

上一篇下一篇

猜你喜欢

热点阅读