BigDatasqoop结合python的用法

用python调用sqoop import (一) 配置文件配置

2019-10-19  本文已影响0人  夜空痕

sqoop是一个很好用的pipline,但我们在工作中,频繁使用,那么就必须把它封装起来,做成公共脚本,让人方便使用和配置,我的想法是将sqoop用python来调用,每次只需要设置表名,以及需要抽取的字段即可
1、开发sqoop配置文件
既然要用python来调用,那么肯定就需要配配置文件这些,那么就需要python去读取配置文件,获取配置信息,在这里就会用到configparser模块

configparser模块的具体使用方法:

from configparser import ConfigParser  #导入

sqoopdbconfig = ConfigParser()
sqooptableconfig = ConfigParser()  #初始化
sqoopDbConfigFile = "/home/data/config/sqoop_db.config"
sqoopTableConfigFile = "/home/data/config/sqoop_table.config"
sqoopdbconfig.read(sqoopDbConfigFile, encoding="utf-8") #用read方法读取配置文件
sqooptableconfig.read(sqoopTableConfigFile, encoding="utf-8")

ConfigParser() 是初始化一个对象,然后用read方法去读取配置文件的内容
然后利用get(section,option)方法去获取配置文件的具体信息,get方法获取的值是string类型

上一篇 下一篇

猜你喜欢

热点阅读