Python网络爬虫04——requests_html库

2018-09-05 本文已影响0人远航天下

详细学习requests_html库

官方文档：

安装

pip3 install requests_html

获取网页：

from requests_html import HTMLSession,HTML

session = HTMLSession()
url = "https://www.qiushibaike.com/text/"
h = session.get(url=url)

requests-html和其他解析HTML库最大的不同点在于HTML解析库一般都是专用的，所以我们需要用另一个HTTP库先把网页下载下来，然后传给那些HTML解析库。
而requests-html自带了这个功能，所以在爬取网页等方面非常方便

查看页面内容

print(h.html.html)

获取连接：

links和absolute_links两个属性分别返回HTML对象所包含的所有链接和绝对链接（均不包含锚点）

相对路径

for _ in h.html.links:
    print(_)

绝对路径

for _ in h.html.absolute_links:
    print(_)

获取元素：

request-html支持CSS选择器和XPATH两种语法来选取HTML元素。
1、CSS选择器语法，它需要使用HTML的find函数，该函数有5个参数，作用如下：

selector，要用的CSS选择器；
clean，布尔值，如果为真会忽略HTML中style和script标签造成的影响（原文是sanitize，大概这么理解）;
containing，如果设置该属性，会返回包含该属性文本的标签；
first，布尔值，如果为真会返回第一个元素，否则会返回满足条件的元素列表；
_encoding，编码格式。

首页菜单文本

print(h.html.find('div#menu',first=True).text)

查看菜单元素

print(h.html.find('div#menu a'))

段子内容

list_story = []
for i in h.html.find('div.content span'):
    # print(i.text)
    # print()
    list_story.append(i.text)
print(list_story)

2、XPATH语法，这需要另一个函数xpath的支持，它有4个参数如下：

selector，要用的XPATH选择器；
clean，布尔值，如果为真会忽略HTML中style和script标签造成的影响（原文是sanitize，大概这么理解）;
first，布尔值，如果为真会返回第一个元素，否则会返回满足条件的元素列表；
_encoding，编码格式。

获取首页菜单文本

print(h.html.xpath("//div[@id='menu']",first=True).text)

查看菜单元素

print(h.html.xpath("//div[@id='menu']/a"))

段子内容

print(h.html.xpath("//div[@class='content']/span/text()"))

元素内容

e = h.html.find('div#hd_logo',first=True)
print(e.text)

要获取元素的attribute，用attr属性

print(e.attrs)

获取元素的html代码

print(e.html)

要搜索元素的文本内容，用search函数

print(e.search('糗{事}{}科')[0])

两个链接属性

print(e.links)  # 相对路径
print(e.absolute_links) # 绝对路径

JavaScript支持

r = session.get('http://python-requests.org/')
r.html.render()

3、render函数还有一些参数，顺便介绍一下（这些参数有的还有默认值，直接看源代码方法参数列表即可）：

retries: 加载页面失败的次数
script: 页面上需要执行的JS脚本（可选）
wait: 加载页面钱的等待时间（秒），防止超时（可选）
scrolldown: 页面向下滚动的次数
sleep: 在页面初次渲染之后的等待时间
reload: 如果为假，那么页面不会从浏览器中加载，而是从内存中加载
keep_page: 如果为真，允许你用r.html.page访问页面

智能分页

rq = session.get("https://reddit.com")
for html in rq.html:
    print(html)

直接使用HTML

doc = """
        <!DOCTYPE html>
<html lang="en">
    <head>
        <meta charset="gbk2312">
        <title>首页</title>
    </head>
    <body>
        <h1>Hello, world!</h1>
        <p>这是一个神奇的网站！</p>
        <hr>
        <div>
            <h2>这是一个例子程序</h2>
            <p>静夜思</p>
            <p class="foo">床前明月光</p>
            <p id="bar">疑似地上霜</p>
            <p class="foo">举头望明月</p>
            <div><a href="http://www.baidu.com"><p>低头思故乡</p></a></div>
        </div>
        <a class="foo" href="http://www.qq.com">腾讯网</a>
        <img src="./img/pretty-girl.png" alt="美女">
        <img src="./img/hellokitty.png" alt="凯蒂猫">
        <img src="/static/img/pretty-girl.png" alt="美女">
        <table>
            <tr>
                <th>姓名</th>
                <th>上场时间</th>
                <th>得分</th>
                <th>篮板</th>
                <th>助攻</th>
            </tr>
        </table>
    </body>
</html>

test_html = HTML(html=doc)
print(test_html.links)

直接渲染JS代码

script = """
        () => {
            return {
                width: document.documentElement.clientWidth,
                height: document.documentElement.clientHeight,
                deviceScaleFactor: window.devicePixelRatio,
            }
        }
    """
my_html = test_html.render(script=script,reload=False)
print(my_html)
print(test_html.html)

自定义请求

4、自定义用户代理：有些网站会使用UA来识别客户端类型，有时候需要伪造UA来实现某些操作。
如果查看文档的话会发现HTMLSession上的很多请求方法都有一个额外的参数**kwargs，
这个参数用来向底层的请求传递额外参数。我们先向网站发送一个请求，看看返回的网站信息

from pprint import pprint   # 提供了可以按照某个格式正确的显示python已知类型数据的一种方法
import json

pp_r = session.get('http://httpbin.org/get')
pprint(json.loads(pp_r.html.html))

更换UA ,这里拿UA距离，如果有需要可以在header中修改其他参数

ua = 'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:62.0) Gecko/20100101 Firefox/62.0'
ppp_r = session.get('http://httpbin.org/get',headers={'user-agent': ua})
pprint(json.loads(ppp_r.html.html))

模拟表单登陆：

HTMLSession带了一整套的HTTP方法，包括get、post、delete等，对应HTTP中各个方法。比如下面我们就来模拟一下表单登录

表单登陆

r1 = session.post('http://httpbin.org/post', data={'username': 'good', 'passwd': 123456})
pprint(json.loads(r1.html.html))

实例：爬去自己简书文章

my_url = 'https://www.jianshu.com/u/1f9e71a85238'
my_requests = session.get(url=my_url)
my_requests.html.render(scrolldown=50,sleep=2)
titles = my_requests.html.find('a.title')
for i,title in enumerate(titles):
    print(f'{i+1} {title.text}：https://www.jianshu.com{title.attrs["href"]}')