30行代码模拟登录新版知乎（使用selenium）

一.简述

爬虫爬取数据时，有些数据并不能让游客访问到，这时候就需要进行登录，再爬取数据，登录后再爬取的手段很多，但核心都是通过cookie的方式来记录身份信息，因此模拟登录的核心在于对cookie的使用。

二.登录方法

目前我所知的登录方法有两种：

1.通过selenium进行浏览器模拟登录（简单粗暴）

2.通过分析登录页面，获取登录接口和提交表单进行登录验证

由于知乎改版后，登录接口变的有些复杂，加入动态js的方法，因此我采用selenium方式来登录，同时通过session记录登录后的cookies，进一步对知乎内的内容进行爬取。

三.实现登录

平台：windows

工具：Python 2.7.14，Chrome浏览器

首先用pip安装好所需的模块selenium，requests，BeautifulSoup(网上有教程)，然后下载好chromedriver，将其加入系统环境变量，或者直接放在python 安装目录下的scripts中。

思路：用selenium打开chrome，通过程序自动输入账号密码，有验证码则需手动填写下验证码。等到成功登陆之后使用“get_cookies()”函数来调出它的Cookies，然后将cookies保存在requests.Session中，通过session继续访问登录后的页面。

代码如下：

from selenium import webdriver

import requests

from time import sleep

from bs4 import BeautifulSoup

browser = webdriver.Chrome()

url= 'https://www.zhihu.com/'

s = requests.Session()

s.headers.clear()#清除requests头部中的Python机器人信息，否则登录失败

browser.get(url)

browser.find_element_by_xpath('//*[@id="root"]/div/main/div/div/div/div[2]/div[2]/span').click()#避免屏幕失去焦点

browser.find_element_by_xpath('//*[@id="root"]/div/main/div/div/div/div[2]/div[1]/form/div[1]/div[2]/div[1]/input').send_keys('账号')

browser.find_element_by_xpath('//*[@id="root"]/div/main/div/div/div/div[2]/div[1]/form/div[2]/div/div[1]/input').send_keys('密码')

try:

  img = browser.find_element_by_xpath('//*    [@id="root"]/div/main/div/div/div/div[2]/div[1]/form/div[3]/div/div[2]/img')#验证码图片链接--倒立文字

  sleep(10)

except:

  img= browser.find_element_by_xpath('//*[@id="root"]/div/main/div/div/div/div[2]/div[1]/form/div[3]/div/span/div/img').get_attribute("src")#验证码图片链接--字母数字

  sleep(10)#填写验证码

else:

  pass

browser.find_element_by_xpath('//*[@id="root"]/div/main/div/div/div/div[2]/div[1]/form/button').submit()#登录

sleep(5)#等待Cookies加载

cookies = browser.get_cookies()

browser.quit()

for cookie in cookies:

  s.cookies.set(cookie['name'],cookie['value'])#为session设置cookies

html=s.get(url).text

soup = BeautifulSoup(html)

items = soup.find_all('a',attrs={'data-za-detail-view-element_name':"Title"})#获取登录后加载出的前几个话题的标题

for item in items:

  print item.string

运行结果：

afsasdfas.png