航司的DevOps & DataOps & AIOps
前言
数字化转型大潮中,常常说到DevOps,但是其并不是数字化转型所特有的。从一个高度及敏捷的研发团队的角度,其是必要的技术组成部分,甚至不在于是否用不用敏捷。并随着大数据的特有应用,衍生出DataOps;同时由于互联网相关应用等的大规模分布式的使用,及虚拟化、容器化等等的海量集群的应用,AIOps也被冠名了。
小运维与大运维
a. 统一及集中的部门和团队的成立,就是为了提供集中/一致/协同的管理支持,提高专业化水平。
b. 但是其不能永远站在后面,被动的接受服务请求。
c. 其专业性和资源集中性要渗透到立项,开发,运维等的全生命周期中,协同应用及系统建设和后续工作。
d. 不管是自己内部资源,还是外部资源,第三方服务及产品,团队应是组织与基础设施及平台服务的唯一对接中心。
没有边界的高价值存在
a. 应用和系统永远是建设在基础设施及平台服务之上的。
b. 从立项开始,到设计及实施,一定要考虑资源的现状,人员的能力,及日后运维的全部依赖因素。
c. 一个高效,全面,全栈,敏捷,专家/有经验的软硬件资源平台,管理平台,工具箱,运维包,以及相关规范手册终将节省大量的人财物时间,为企业数字化转型提供最有力的支持。
d. 如何充分利用已有资源和职能范围,提升价值/创造价值/改造价值,尤为重要。
PreDev ► Dev ► Data ► AI Ops
a. 新传统应用及系统开发的IT技术日新月异,同时开源化和轻量级等的使用,增加IT运维的压力。
b. DevOps要求的自动化/工具化/敏捷化还没有全部实现,企业数字化转型有提出更高的要求。
c. 大数据和数据智能的几何级数的增长,更需要用工具代替人,用全新的思维和方法醍醐灌顶。
d. 更大挑战和要求还在AI,通过算法替代固定的模式和流程,从而上升到更高层次的“自动化”。
从DevOps到DataOps
a. DevOps侧重于:工具,自动化,开发及运维团队,运维是系统设计的一部分,协同。
b. DataOps侧重于:数据,可视化,可追踪,专业工具,数据分析工程师。
c. DevOps是与企业数字化转型,IT敏捷及迭代开发等相关联的。
d. DataOps是与专门数据处理相关的体系。
DevOps
概述
a. 基于过往大型企业项目,国外航司及IT服务公司经验,运维是一个技术活,需要专业团队。
b. 往往是多个角色团队的协同。
c. 并超越单纯硬件及网络的运维支持,上升到企业级及通用的服务化支持。
“开发平台即服务”与应用/系统开发团队协同
IaaS及PaaS,和Microservice等的出现,要求IT基础设施和服务,一定要能够支持。
development Platform as a Service (dPaaS)则普遍变为一种潜在IT运维团队的增值和高价值服务,并牵引开发向规范化和敏捷化发展。
后台作业可视化,自动化,管理工具化
以LH的Customer Loyalty为例,航司大量的日常工作将集中在后台作业及批处理文件的处理上。
在开发完毕交付的作业任务的管理,不仅仅只是属于作业实例的驱动,更关键是一整套任务链的协同。
分布式集中日志及运维服务升值
结合CO/UA及DL交付经验,一整套集中的日志系统,将会对运维和系统管理提供强有力的支持。
企业级监控框架及平台
a. 根据若干航司的案例,人财物时间的投入,将是后续运维精力优化的关键,尤其是管理方面。
b. 但是必须根据项目范围,系统规模,以及NFR需求关注点,指定针对性的监控目标,而不是一应俱全的满足4个层面。
c. 更关键的是某些层面,譬如连通性及系统效能等监控属于统一的职能范围和管理主体。
虚拟化容器化云化运维
a. 根据航司电商与互联网电商的对比,关键IT的差距就是对于虚拟技术的使用。
b. 通过构建标准镜像,规范化第三方软件应用的使用和技术要求。
c. 通过容器化的投放,充分发挥软硬件资源,避免不必要的浪费。
d. 通过脚本化的规范要求,协助开发团队在实施中就为未来运维提供基础。
参考及实绩
DataOps
a. 技术大数据技术堆栈,和实际操作要求,一整套以数据流处理为核心的平台服务是必须的。
b. 在错综复杂及海量的开源软件构件的大数据IT基础之上,找到一组相对稳定和兼容的框架软件集是相当困难的。
c. 所以尽量采用相对官方的大数据平台明智之举。
d. 然而在之后的大数据开发过程中,对于软硬件资源的使用支持将是更严峻的工作。
AIOps
a. 算法的IT运维(Algorithmic IT Operations),是更深层次的需求,并且已经存在。
b. ITOA到AIOps,及AIDevOps的转变。
c. 最优实践留给BAT和JD他们吧。
结论
不管航司航企航旅推行怎样的新政,只要定位好自己处于那种状态(PreDev ► Dev ► Data ► AI Ops),则可以逐步融入项目管理和开发规范的前提下,逐步制定、摸索、推进相应的Ops工作。但是对于DataOps,必须因地制宜,明确是否自己的产品及应用有数据类开发运维的特质和真实诉求。然而对于AIOps,个人认为普遍企业至少5年是根本没有应用的可能,即使是比较大型的航司航企。