摄影

Python第四天

2019-07-31  本文已影响4人  栀心_hml

爬虫基础知识


1)提取本地html文件
(1)步骤

✏ 需要自已先写一个html(或者本地已有一个html文件)
✏ 从本地将html文件的内容读取出来
✏ 使用xpath语法进行提取(lxml中的xpath)

(2)selector = html.fromstring(html_data)

解析html文件,获取selector对象

(3)selector.xpath('/html/body/h1/text()')

要获取标签中的内容,末尾要添加text()
// 可以代表从任意位置出发 / 表示从当前位置

(4)标签1[@属性=属性值]/标签2[@属性=属性值]..../text()
2)在网上爬虫的基本方法
(1)先要导入包 import requests
(2)url =' 你要爬虫的网址 '
(3)常用方法

✏ response.text --------------获取str类型的响应
✏ response.content--------------获取bytes类型的响应(图片)
✏ response.headers--------------获取响应头
✏ response.status_code--------------获取状态码
(200成功访问 404找不到页面 500服务器问题)
✏ response.encoding--------------获取编码
特别注意在网上进行爬虫需要添加请求头

Python例子


一、从本地的index.html文件中获取div的id="container"下p标签的内容、a标签的获取属性值。

✚ index.html文件展示

<!DOCTYPE html>
<html lang="en">
<head>
    <meta charset="UTF-8">
    <title>王者荣耀</title>
</head>
<body>
<h1>王者荣耀</h1>
<ul>
    <li><a href="https://pvp.qq.com/web201605/herolist.shtml"><img src="https://game.gtimg.cn/images/yxzj/img201606/heroimg/508/508.jpg">伽罗</a></li>
    <li><a href="https://pvp.qq.com/web201605/herolist.shtml"><img src="https://game.gtimg.cn/images/yxzj/img201606/heroimg/193/193.jpg"></img>铠</a></li>
    <li><a href="https://pvp.qq.com/web201605/herolist.shtml"><img src="https://game.gtimg.cn/images/yxzj/img201606/heroimg/510/510.jpg"></img>孙策</a></li>
    <li><a href="https://pvp.qq.com/web201605/herolist.shtml"><img src="https://game.gtimg.cn/images/yxzj/img201606/heroimg/106/106.jpg"></img>小乔</a></li>
</ul>
<ol>
    <li>法师</li>
    <li>坦克</li>
    <li>战士</li>
    <li>刺客</li>
</ol>
<div>第一个div</div>
<div id="container">
    <p>小乔小乔小乔小乔小乔</p>
    <a href="https://pvp.qq.com/web201605/herolist.shtml"><img src="https://game.gtimg.cn/images/yxzj/img201606/heroimg/106/106.jpg"></img>点击跳转</a>
</div>
<div>结束了!</div>
</body>
</html>

✚ 运行截图



✚ 爬虫代码

from lxml import  html
with open('./index.html','r',encoding='utf-8') as f:
    html_data = f.read()
    selector = html.fromstring(html_data)
    h1 = selector.xpath('/html/body/h1/text()')
    print(h1[0])
    a = selector.xpath('//div[@id="container"]/a/text()')
    print(a[0])
    p = selector.xpath('//div[@id="container"]/p/text()')
    print(p[0])
    link = selector.xpath('//div[@id="container"]/a/@href')
    print(link[0])

✚ 结果展示


二、获取知乎网(网址:https://www.zhihu.com/)的状态码。
#知乎爬虫
import requests
#没有添加请求头的知乎网站
#resp = request.get('https:www.zhihu.com/')
#print(resp.status_code)   返回404

# 使用字典定义请求头
headers = {"User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.142 Safari/537.36"}
resp = requests.get('https://www.zhihu.com/', headers = headers)
print(resp.status_code)     #返回200
三、当当网通过搜索框爬虫最便宜的10本书,并绘制成条形统计图。

✚ 网址:http://search.dangdang.com/
✚ 代码

import requests
from lxml import  html
import pandas as pd
from matplotlib import pyplot as plt
plt.rcParams["font.sans-serif"] = ['SimHei']  #解决代码中文乱码
plt.rcParams['axes.unicode_minus'] = False
def spider_dangdang(isbn):
book_list = []
    #目标站点地址
    url = 'http://search.dangdang.com/?key={}&act=input'.format(isbn)
headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.142 Safari/537.36"}
resp = requests.get(url,headers=headers)
html_data = resp.text
selector = html.fromstring(html_data)
ul_list = selector.xpath('//div[@id="search_nature_rg"]/ul/li')
print('您好,共有{}家店铺售卖此书!'.format(len(ul_list)))
#遍历ul_list
    for li in ul_list:
         #图书的名称
         title = li.xpath('./a/@title')[0].strip()
         print(title)
         #图书名称

         #图书的购买链接
         link = li.xpath('a/@href')[0]
         print(link)

         #图书价格
         price = li.xpath('./p[@class="price"]/span[@class="search_now_price"]/text()')[0]
         price = float(price.replace('¥',''))
         print(price)

         #图书卖家名称
         store = li.xpath('./p[@class="search_shangjia"]/a/text()')
         #第一种方式
         if len(store) == 0:
             store = '当当自营'
         else:
             store = store[0]
         # 第二种方式
         #store = '当当自营' if len(store) == 0 else store[[0]
         print(store)

         #添加每一个商家信息
         book_list.append({
             'title':title,
             'price':price,
             'link':link,
             'store':store
         })

    #排序 按照价格
    book_list.sort(key = lambda x:x['price'])

    #遍历book_list
    for book in book_list:
        print(book)

    #展示价格最低的前 down10 用柱状图
    #店铺的名称
    top10_store = [book_list[i] for i in range(10)]
    x = [x['store'] for x in top10_store]
    print(x)
    #图书的价格
    y = [x['price'] for x in top10_store]
    print(y)
    plt.barh(x,y)
    plt.show()
    #存储为csv文件
    df = pd.DataFrame(book_list)
    df.to_csv('dangdang.csv')
spider_dangdang('9787115428028')

✚ 结果截图



✚ 生成的CSV文件(可以用EXCEL打开)


豆瓣电影爬虫


✚ 要求:
(1)获取:电影名,上映日期,类型,上映国家,想看人数数据
(2)根据想看人数进行排序
(3)绘制即将上映电影国家的占比图
(4)绘制top5最想看的电影
✚代码

import requests
from lxml import  html
import re
from matplotlib import pyplot as plt
plt.rcParams["font.sans-serif"] = ['SimHei']  #解决代码中文乱码
plt.rcParams['axes.unicode_minus'] = False

url = 'https://movie.douban.com/cinema/later/chongqing/'
headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.142 Safari/537.36"}
resp = requests.get(url,headers=headers)
html_data = resp.text

movies_list =[]
selector = html.fromstring(html_data)
ul_list = selector.xpath('//div[@class="intro"]')
print('您好,共有{}部电影!'.format(len(ul_list)))
for li in ul_list:
    #电影名
    name = li.xpath('./h3/a/text()')[0]
    print(name)

    hml = li.xpath('./ul/li/text()')
    #上映日期
    date = hml[0]
    #类型
    type = hml[1]
    #上映国家
    country = hml[2]
    #想看人数
    number =li.xpath('./ul/li[@class="dt last"]/span/text()')
    string = number[0]
    number1 = re.findall(r"\d+\.?\d*", string)
    number2 = int(number1[0])
    print(number2)

    movies_list.append({
        'name': name,
        'date': date,
        'type': type,
        'country': country,
        'number2':number2
    })

#排序 按照想看人数
movies_list.sort(key = lambda x:x['number2'],reverse = True)
#遍历


#movies_list 列表
for movie in movies_list:
    print(movie)

zgdl = 0
els = 0
rb = 0
counts = []

for i in range(len(movies_list)):
    if(movies_list[i]['country']=='中国大陆'):
        #print("2222222222")
        zgdl += int(movies_list[i]['number2'])
    elif(movies_list[i]['country']=='俄罗斯'):
        els += int(movies_list[i]['number2'])
    elif(movies_list[i]['country']=='香港'):
        rb += int(movies_list[i]['number2'])
    else:
        xg += int(movies_list[i]['number2'])
labels = ['中国大陆','俄罗斯','日本','香港']
counts = [zgdl,els,rb,xg]
counts = [zgdl,els,rb]
# print(counts)

# 绘制top5最想看的电影 柱状图
top5_movies = [movies_list[i] for i in range(5)]
x = [x['name'] for x in top5_movies]
# print(x)
#图书的价格
y = [x['number2'] for x in top5_movies]
# print(y)
plt.barh(x,y)
plt.show()

# 绘制即将上映电影国家的占比图  饼图
plt.pie(counts,labels = labels,autopct='%1.1f%%')
plt.legend(loc = 2)
plt.axis('equal')
plt.show()

✚ 数据展示



✚ 结果截图展示


豆瓣网电影国家占比.png
✚ 总结
最开始在做绘制即将上映电影国家的占比图的时候,也没有考虑到,有很多的国家是一样的,所以最开始我做的是错误的,如下图。最开始没有搞清楚列表和字典的读取方式真的很吃亏,在列表里面元素是字典,这个时候要先使用列表的读取方式读到字典,再通过字典的方式读取最里面的数据,一直在这里卡着。当然后面做的方式比较牵强,是在我错误的前提下,我已经知道只有几个国家的情况下写的if/else条件进行筛选并统计人数,这个做法不是最优的方法。自已写的,也不知道对不对,如若不对欢迎留言,有更好的方法可以在下面留言。哈哈哈哈哈..........
上一篇下一篇

猜你喜欢

热点阅读