python标准库+内置函数+第三方库

欲善其事，必先利其器

这其器必是python的标准库+内置函数，话说许多第三方库， 也是对标准库的使用，进行封装，使得使用起来更方便。

这些库以使用场景来分类:

一. 文件读写
二. 网络抓取和解析
三. 数据连接
四. 数清洗转换
五. 数据计算和统计分析
六. 图像和视频处理
七. 音频处理
八. 数据挖掘/机器学习/深度学习
九. 数据可视化
十. 交互学习
十一. 集成开发

现来学习第一项：文件读写

文件的读写包括常见的txt、Excel、xml、二进制文件以及其他格式的数据文本，主要用于本地数据的读写。

1.1.open(name[, mode[, buffering]])

# 类型：Python内置函数
# 描述：Python默认的文件读写方法
f = open("/open.txt","w")
f.write("python标准库+内置函数+第三方库")
f.close()

f = open("/open.txt", "r")
p_text = f.read()
print(p_text)
f.close()

1.2.pandas.read_*

# 类型：第三方库
# 描述：Pandas自带的read文件方法，例如ead_csv、
#read_fwf、    read_table等，用于文本、Excel、
#二进制文件、HDF5、表格、SAS文件、SQL数

1.3.lxml

# 类型：第三方库
# 描述：xml和HTML读取和解析
"""
lxml是python的一个解析库，支持HTML和XML的解析，支持XPath解析方式，而且解析效率非常高

XPath，全称XML Path Language，即XML路径语言，它是一门在XML文档中查找信息的语言，它最初是用来搜寻XML文档的，但是它同样适用于HTML文档的搜索

XPath的选择功能十分强大，它提供了非常简明的路径选择表达式，另外，它还提供了超过100个内建函数，用于字符串、数值、时间的匹配以及节点、序列的处理等，几乎所有我们想要定位的节点，都可以用XPath来选择
"""

from lxml import etree

text='''
<div>
    <ul>
         <li class="item-0"><a href="link1.html">第一个</a></li>
         <li class="item-1"><a href="link2.html">second item</a></li>
         <li class="item-0"><a href="link5.html">a属性</a>
     </ul>
 </div>
'''
html=etree.HTML(text) #初始化生成一个XPath解析对象
result=etree.tostring(html,encoding='utf-8')   #解析成字节
print("解释成字节：")
print(result)

result_list=etree.tostringlist(html,encoding='utf-8')   #解析成列表
print("解释成列表")
print(result_list)

result_node = etree.HTML("text",etree.HTMLParser())
html = result_node.xpath('//*')
print("获取所有节点：")
print(html)

1.4.xml

# 类型：Python标准库
# 描述：xml对象解析和格式化处理

xml文件：

<collection shelf="New Arrivals">
<works title="电影">
<names>敦刻尔克</names>
<author>诺兰</author>
</works>
<works title="书籍">
<names>我的职业是小说家</names>
<author>村上春树</author>
</works>
</collection>

Python解析XML实例: Python对XML的解析采用SAX (simple API for XML )模块。

#!/usr/bin/python3
#encoding=utf-8

import xml.sax
import xml.sax.handler

class WorksHandler(xml.sax.ContentHandler):
    def __init__(self):
        self.CurrentData = ""
        self.names = ""
        self.author = ""
#元素开始事件处理
def startElement(self, tag, attributes):
    self.CurrentData = tag
    if tag == "works":
        print("***内容***")
        title = attributes["title"]
        print("类型：",title)
#元素结束事件处理
def endElement(self, tag):
    if self.CurrentData == "names":
        print("名称：",self.names)
    elif self.CurrentData == "author":
        print("作者：",self.author)
    self.CurrentData = ""
#内容事件处理
def characters(self, content):
    if self.CurrentData == "names":
        self.names = content
    elif self.CurrentData == "author":
        self.author = content

if (__name__ == "__main__"):
    #创建一个XMLReader
    parser = xml.sax.make_parser()
    parser.setFeature(xml.sax.handler.feature_namespaces,0)
    #重写ContextHandler
    Handler = WorksHandler()
    parser.setContentHandler(Handler)
    parser.parse("works.xml")

1.5.xpath

# 类型：第三方库
# 描述：xml对象解析和格式化处理
#用例如上

XPath常用规则:

xpath表达符.jpg

1.6.win32com

# 类型：第三方库
# 描述：有关Windows系统操作、Office（Word、Excel等）文件读写等的综合应用库

import win32com
from win32com.client import Dispatch, constants

w = win32com.client.Dispatch('Word.Application')
# 或者使用下面的方法，使用启动独立的进程：
# w = win32com.client.DispatchEx('Word.Application')

# 后台运行，不显示，不警告
w.Visible = 0
w.DisplayAlerts = 0

# 打开新的文件
doc = w.Documents.Open( FileName = filenamein )
# worddoc = w.Documents.Add() # 创建新的文档

# 插入文字
myRange = doc.Range(0,0)
myRange.InsertBefore('Hello from python!')

# 使用样式
wordSel = myRange.Select()
wordSel.Style = constants.wdStyleHeading1

# 正文文字替换
 w.Selection.Find.ClearFormatting()
w.Selection.Find.Replacement.ClearFormatting()
w.Selection.Find.Execute(OldStr, False, False, False, False, False, True, 1, True, NewStr, 2)


# 表格操作
doc.Tables[0].Rows[0].Cells[0].Range.Text ='123123'
worddoc.Tables[0].Rows.Add() # 增加一行

# 转换为html
wc = win32com.client.constants
w.ActiveDocument.WebOptions.RelyOnCSS = 1
w.ActiveDocument.WebOptions.OptimizeForBrowser = 1
w.ActiveDocument.WebOptions.BrowserLevel = 0 #   constants.wdBrowserLevelV4
w.ActiveDocument.WebOptions.OrganizeInFolder = 0
w.ActiveDocument.WebOptions.UseLongFileNames = 1
w.ActiveDocument.WebOptions.RelyOnVML = 0
w.ActiveDocument.WebOptions.AllowPNG = 1
w.ActiveDocument.SaveAs( FileName = filenameout, FileFormat = wc.wdFormatHTML )

# 打印
doc.PrintOut()

# 关闭
# doc.Close()
w.Documents.Close(wc.wdDoNotSaveChanges)
w.Quit()