银狐NetDevOps-网络运维python篇之NETCONF（
2021-05-20 本文已影响0人
科技银狐
科技银狐
前言
银狐DevNet系列会持续将网络运维工作中python的应用进行场景化的分享，因为每个单独的模块网上都有详细的教学，这里就不深入讲解模块基础了，内容主要以思路和示例为主，并将碰到的问题汇总提出注意事项。
主要是因为网络工程师和网络运维工作者编程基础不强，加上网上对于这个领域的python资料又少，传统的分享方式（每个章节仅单纯分享一个知识点）对于很多网工来说各个知识点相对独立且割裂的，很难进行一个知识的融合，现实工作中也很难直接应用，大家学习的难度就会很大，也会导致大部分人刚入门就放弃。所以我将这些内容进行场景化，根据特定场景由浅入深不断优化，从而带出更多知识点，希望对大家有所帮助。
这些分享都是我本人真实的学习路径，一方面是帮助自己梳理网络自动化相关知识，另一方面也希望可以通过分享我微不足道的学习过程和实战经验，帮助更多想要了解NetDevOps而苦于没有资料和环境被劝退的人，进而找到同行之人互相交流、互相提升。
1、场景分析：
NETCONF协议对于传统网工来说是噩梦，看到XML编码就直接劝退了，但对于普通网工来说依然有适用的场景。平时我们批量操作无非就是增删改查，针对设备增删改，个人建议直接使用python的netmiko模块，非常方便，也符合传统网工输入CLI的习惯。但对于查就需要区分场景了。
当我们需要查询设备某些配置或者状态时，常规做法就是输入CLI，然后在返回结果中查看想要的内容。使用python进行跑批操作时也是通过paramiko、netmiko这类模块直接SSH上设备，然后输入CLI命令，在根据回显内容获取想要的数据。这里分几种情况，如果我们想获取设备配置文件，直接通过netmiko传递show config命令，其实是没什么问题的，因为这个回显的内容是不需要做任何处理的。
那我们换一个场景，1000台网络设备，需要批量获取所有设备的设备名称、型号、版本号、补丁，并将内容存储起来时该怎么办呢？这里有3中方法。
方法一：
使用paramiko或者netmiko批量登录网络设备，并输入CLI（disp ver），将如下回显内容自行处理。
Huawei Versatile Routing Platform Software
VRP (R) software, Version 8.180 (CE6855HI V200R005C10SPC800)
Copyright (C) 2012-2018 Huawei Technologies Co., Ltd.
HUAWEI CE6855-48S6Q-HI uptime is 421 days, 13 hours, 24 minutes
Patch Version: V200R005SPH016
CE6855-48S6Q-HI(Master) 1 : uptime is 421 days, 13 hours, 22 minutes
StartupTime 2020/03/24 18:35:47+08:00
Memory Size : 2048 M bytes
Flash Size : 1024 M bytes
CE6855-48S6Q-HI version information
1\. PCB Version : CEM48S6QP05 VER B
2\. MAB Version : 1
3\. Board Type : CE6855-48S6Q-HI
4\. CPLD1 Version : 102
5\. BIOS Version : 433
显然，处理以上数据会非常麻烦
方法二：
使用netmiko这类SSH模块配合textFSM模板（结合ntc-template）进行操作（方法以后讲解），直接回显如下列表内容。
[{'model': 'CE6855-48S6Q-HI',
'product_version': 'CE6855HI V200R005C10SPC800',
'uptime': '421 days, 9 hours, 24 minutes ',
'vrp_version': '8.180'}]
可以看到，非常方便。
但问题就是这方面的模板cisco和juniper等国外厂商比较充足，基本涵盖了常见需求，国内华为只有4个模板,如下所示。
-rw-rw-r-- 1 yydd yydd 483 May 8 10:21 huawei_vrp_display_interface_brief.textfsm
-rw-rw-r-- 1 yydd yydd 1811 May 8 10:21 huawei_vrp_display_lldp_neighbor.textfsm
-rw-rw-r-- 1 yydd yydd 390 May 8 10:21 huawei_vrp_display_temperature.textfsm
-rw-rw-r-- 1 yydd yydd 217 May 8 10:21 huawei_vrp_display_version.textfsm
也就是只有4个命令回显可以直接返回处理好的列表，显然是不够用的。（模板可自己编写，难度比较大）
方法三：
使用NETCONF协议，结合标准的XML编码格式，返回标准化格式的内容。而ncclient就是一个用于NETCONF客户端的Python库。
2、操作环境：
操作系统：Linux CentOS 7.4
python版本：python 3.8
网络设备：华为CloudEngine 6865
编辑器：vscode
安装ncclient：
pip3 install ncclient
3、代码示例
#!/usr/bin/env python
#coding: utf-8
from pprint import pprint
import xmltodict
from ncclient import manager
from ncclient import operations
from ncclient.transport.errors import SSHError
from ncclient.transport.errors import AuthenticationError
#构造待配置的YANG内容，此处为系统信息。
#具体可参考华为官网二次开发文档《CloudEngine 8800, 7800, 6800HI, 6880EI, 6875EI, 6870EI, 6865EI, 6860EI, 6857EI, 5880EI V200R005C10 NETCONF Schema API参考》
devinfo_FILTER = '''
<system xmlns="<http://www.huawei.com/netconf/vrp>" content-version="1.0" format-version="1.0">
<systemInfo>
</systemInfo>
</system>
'''
# Fill the device information and establish a NETCONF session
def huawei_connect(host, port, user, password):
return manager.connect(host=host,
port=port,
username=user,
password=password,
hostkey_verify = False,
device_params={'name': "huawei"},
allow_agent = False,
look_for_keys = False)
def nc_get(host, port, user, password):
with huawei_connect(host, port=port, user=user, password=password) as m:
return m.get(("subtree", devinfo_FILTER))
def main():
nc_res = nc_get("172.26.32.7",22,"user","pass")
xml_rep = nc_res.data_xml
print(xml_rep)
if __name__ == '__main__':
main()
执行结果
<?xml version="1.0" encoding="UTF-8"?><data xmlns="urn:ietf:params:xml:ns:netconf:base:1.0">
<system xmlns="<http://www.huawei.com/netconf/vrp>" format-version="1.0" content-version="1.0">
<systemInfo>
<sysName>SZTL-POD2-Leaf-H6865-1</sysName>
<sysContact>R&D Beijing, Huawei Technologies co.,Ltd.</sysContact>
<sysLocation>Beijing China</sysLocation>
<sysDesc>Huawei Versatile Routing Platform Software
VRP (R) software, Version 8.191 (CE6865EI V200R019C10SPC800)
Copyright (C) 2012-2020 Huawei Technologies Co., Ltd.
HUAWEI CE6865-48S8CQ-EI </sysDesc>
<sysObjectId>1.3.6.1.4.1.2011.2.239.49</sysObjectId>
<sysGmtTime>1621568735</sysGmtTime>
<sysUpTime>4125375</sysUpTime>
<sysService>78</sysService>
<platformName>VRP</platformName>
<platformVer>V800R019C16SPC599</platformVer>
<productName>CE6865EI</productName>
<productVer>V200R019C10SPC800</productVer>
<patchVer>V200R019SPH007</patchVer>
<esn>2102351RFD10MC111521</esn>
<mac>9017-3FF0-1CB1</mac>
<lsRole>admin</lsRole>
<authenFlag>false</authenFlag>
<softwareName/>
</systemInfo>
</system>
</data>
可以看到回显内容结构非常清晰，需要什么数据直接从XML中获取即可。后面就以示例为基础，完成开头提到的需求。
4、ncclient实验
4.1 需求
获取设备的设备名称、型号、版本号、补丁、SN
4.2 代码
#!/usr/bin/env python
#coding: utf-8
from pprint import pprint
import xmltodict
from ncclient import manager
from ncclient import operations
from ncclient.transport.errors import SSHError
from ncclient.transport.errors import AuthenticationError
#构造YANG
devinfo_FILTER = '''
<system xmlns="<http://www.huawei.com/netconf/vrp>" content-version="1.0" format-version="1.0">
<systemInfo>
<sysName></sysName>
<productName></productName>
<productVer></productVer>
<patchVer></patchVer>
<esn></esn>
</systemInfo>
</system>
'''
#建立NETCONF会话
def huawei_connect(host, port, user, password):
return manager.connect(host=host,
port=port,
username=user,
password=password,
hostkey_verify = False,
device_params={'name': "huawei"},
allow_agent = False,
look_for_keys = False)
#构造<get>报文
def nc_get(host, port, user, password):
with huawei_connect(host, port=port, user=user, password=password) as m:
return m.get(("subtree", devinfo_FILTER))
#主函数
def main():
nc_res = nc_get("172.26.32.7",22,"user","pass")
xml_rep = nc_res.data_xml
print(xml_rep)
xml_dict = xmltodict.parse(xml_rep)
for k,y in xml_dict.items():
print(k,y)
print("="*70)
for k,y in xml_dict['data']['system']['systemInfo'].items():
print(k,":",y)
if __name__ == '__main__':
main()
执行结果
<?xml version="1.0" encoding="UTF-8"?><data xmlns="urn:ietf:params:xml:ns:netconf:base:1.0">
<system xmlns="<http://www.huawei.com/netconf/vrp>" format-version="1.0" content-version="1.0">
<systemInfo>
<sysName>SZTL-POD2-Leaf-H6865-1</sysName>
<productName>CE6865EI</productName>
<productVer>V200R019C10SPC800</productVer>
<patchVer>V200R019SPH007</patchVer>
<esn>2102351RFD10MC111521</esn>
</systemInfo>
</system>
</data>
data OrderedDict([('@xmlns', 'urn:ietf:params:xml:ns:netconf:base:1.0'), ('system', OrderedDict([('@xmlns', '<http://www.huawei.com/netconf/vrp>'), ('@format-version', '1.0'), ('@content-version', '1.0'), ('systemInfo', OrderedDict([('sysName', 'SZTL-POD2-Leaf-H6865-1'), ('productName', 'CE6865EI'), ('productVer', 'V200R019C10SPC800'), ('patchVer', 'V200R019SPH007'), ('esn', '2102351RFD10MC111521')]))]))])
======================================================================
sysName : SZTL-POD2-Leaf-H6865-1
productName : CE6865EI
productVer : V200R019C10SPC800
patchVer : V200R019SPH007
esn : 2102351RFD10MC111521
4.3 详解
from pprint import pprint
#有缩进的打印，回显更直观,建议使用
import xmltodict
#用于xml转换为dict
#导入ncclient常用模块
from ncclient import manager
from ncclient import operations
from ncclient.transport.errors import SSHError
from ncclient.transport.errors import AuthenticationError
devinfo_FILTER = '''
<system xmlns="<http://www.huawei.com/netconf/vrp>" content-version="1.0" format-version="1.0">
<systemInfo>
<sysName></sysName>
<productName></productName>
<productVer></productVer>
<patchVer></patchVer>
<esn></esn>
</systemInfo>
</system>
'''
构造待配置的YANG内容，此处为系统信息。 具体可参考华为官网二次开发文档《CloudEngine 8800, 7800, 6800HI, 6880EI, 6875EI, 6870EI, 6865EI, 6860EI, 6857EI, 5880EI V200R005C10 NETCONF Schema API参考》。
如果我们只需要systemInfo下的部分信息，直接在<systemInfo></systemInfo>中间加入明细内容即可，可参考官方文档。
关于XML基础知识，可以访问https://www.w3school.com.cn/xml/xml_intro.asp查看。
def huawei_connect(host, port, user, password):
return manager.connect(host=host,
port=port,
username=user,
password=password,
hostkey_verify = False,
device_params={'name': "huawei"},
allow_agent = False,
look_for_keys = False)
定义NETCONF session的函数，调用manager.connect建立连接。
def nc_get(host, port, user, password):
with huawei_connect(host, port=port, user=user, password=password) as m:
return m.get(("subtree", devinfo_FILTER))
定义get函数，构造<get>报文，并返回rpc-reply的结果。
因为我们不希望get过多内容，所以要加入filter功能，devinfo_FILTER就是我们自己构建的XML，<filter>元素可以包含“type”属性，NETCONF中的默认过滤机制被称为子树过滤（“type”属性值为“subtree”）。
打印结果一：
#主函数
def main():
nc_res = nc_get("172.26.32.7",22,"user","pass")
xml_rep = nc_res.data_xml #返回XML标准格式的字符串
print(xml_rep)
#执行结果
<?xml version="1.0" encoding="UTF-8"?><data xmlns="urn:ietf:params:xml:ns:netconf:base:1.0">
<system xmlns="<http://www.huawei.com/netconf/vrp>" format-version="1.0" content-version="1.0">
<systemInfo>
<sysName>SZTL-POD2-Leaf-H6865-1</sysName>
<productName>CE6865EI</productName>
<productVer>V200R019C10SPC800</productVer>
<patchVer>V200R019SPH007</patchVer>
<esn>2102351RFD10MC111521</esn>
</systemInfo>
</system>
</data>
打印结果二：
xml_dict = xmltodict.parse(xml_rep)
#此方法会将xml_rep解析为orderdict，和传统dict区别就是orderdict是有顺序的
for k,y in xml_dict.items():
#遍历字典，items() 方法让字典以列表形式返回可遍历的(键, 值) 元组数组
print(k,y)
#执行结果
data OrderedDict([('@xmlns', 'urn:ietf:params:xml:ns:netconf:base:1.0'), ('system', OrderedDict([('@xmlns', '<http://www.huawei.com/netconf/vrp>'), ('@format-version', '1.0'), ('@content-version', '1.0'), ('systemInfo', OrderedDict([('sysName', 'SZTL-POD2-Leaf-H6865-1'), ('productName', 'CE6865EI'), ('productVer', 'V200R019C10SPC800'), ('patchVer', 'V200R019SPH007'), ('esn', '2102351RFD10MC111521')]))]))])
打印结果三：
#访问xml_dict['data']['system']['systemInfo']的value
#OrderedDict([('sysName', 'SZTL-POD2-Leaf-H6865-1'),
# ('productName', 'CE6865EI'),
# ('productVer', 'V200R019C10SPC800'),
# ('patchVer', 'V200R019SPH007'),
# ('esn', '2102351RFD10MC111521')])
#在进行遍历操作
for k,y in xml_dict['data']['system']['systemInfo'].items():
print(k,":",y)
#打印结果
sysName : SZTL-POD2-Leaf-H6865-1
productName : CE6865EI
productVer : V200R019C10SPC800
patchVer : V200R019SPH007
esn : 2102351RFD10MC111521
上面的逐步打印，是为了让大家更清晰的看到每一步数据处理的区别。
核心还是提供思路，详细的基础知识如果有不懂的，直接在Google或者baidu搜索，有很多资料。
