《python网络数据采集》——第四天

2018-07-19 本文已影响6人三横一竖是我

7-18

API通用规则

利用HTTP从网络获取信息有四种方法：GET POST PUT DELETE
API在使用之前要求客户验证，通常API验证方法类似令牌（token）的方法，每次调用API会把令牌传到服务器上
API多数反馈的格式是XML和JOSN

API调用

http://www.cnblogs.com/haq5201314/p/8457373.html
先进行申请，到价格标准里找一个免费的
http://api.avatardata.cn/Weather/Query?key=9405abedb0704a92ae29a051e38ff154&cityname=武汉
key=后面是自己申请的key，访问就能返回天气信息

解析JOSN数据

只需要在开头import josn ，就可以吧josn转化成字典，数组转化成列表，josn字符串转化为python字符串

存储数据

存储数据有两种方法，一个是存储URL，一个是存储文件
urlretrieve (imagelacation, "logo.jpg")
下载文件并命名

数据存储到CSV，CSV是储存表格数据的常用文件格式，列与列之间用逗号分隔
创建一个CSV文件

import csv
csvFile =open("../files/test.csv",'w+')
try:
    writer =csv.writer(csvFile)
    writer.writerrow(('number','number plus 2','number times 2'))
    for i in range(10):
        writer.writerrow((i,i+2,i*2))
finally:
    csvFile.close()

数据采集一个常用功能就是获取HTML表格写入CSV文件，用BeautifulSoup和get_text（）完成

MySQL

下载配置教程https://www.cnblogs.com/ayyl/p/5978418.html
基本命令
首次登陆时，没有数据库存放数据，可以创建一个CREAT DATABASE scraping
因为有很多数据库，所以使用之前必须指定一个USE scraping
然后在数据库里创建一个表格存放数据CREAT TABLE pages(id BIGINT(7) NOT NULL AUTO_INCREMENT, title VARCHAR(200),content VARCHAR(10000),ctreated TIMESTAMP DEFAULT CURRENT_TIMESTAMP, PRIMARY KEY(id));
大概是这样的一个形式，id，title，created是名称，BIGINT(7),VARCHAR,TIMESTAMP是数据类型，NOT NULL AUTO_INCREMENT是其他属性可选,最后要定义一个key，便于查找，这里就用列表的id当做key
语句执行后DESCRIBE pages可以查看数据表的结构
处理数据

SELECT * FROM pages WHERE id =2
SEECT * FROM pages WHERE title LIKE  "%test"

https://www.cnblogs.com/webnote/p/5753996.html

与python整合

PyMySQL库

Email

邮件是通过SMTP协议传输的，python有两个包可以发送邮件：smtplib和email

文档编码

python默认把文本读成ASCII编码格式，浏览器默认把文本读成ISO-8859-1编码格式，其实都不对，应该用UTF-8编码格式
content = bytes(content , "UTF-8")
网站会在<head>部分显示页面使用的编码格式，会带这样的标签<meta charset = "utf-8" />

PDF处理

def readPDF(pdfFile):
    rsrcmgr = PDFResourceManager()
    retstr = StringIO()
    laparams = LAParams()
    device = TextConverter(rsrcmgr, retstr, laparams=laparams)
    process_pdf(rsrcmgr, device, pdfFile)
    device.close()
    content = retstr.getvalue()
    retstr.close()
    return content
pdfFile = urlopen("http://pythonscraping.com/pages/warandpeace/chapter1.pdf")
outputString = readPDF(pdfFile)
print(outputString)
pdfFile.close()

如果文件在电脑里，可以吧urlopen返回对象换成普通的openpdfFile = open("../pages/warandpeace/chapter1.pdf", "rb")