Python爬虫 —— 携程机票数据
携程机票搜索页面
涉及内容：
1、request模拟请求
2、json解析
目标：
爬取某航线上所有航班价格信息
核心思想：
通过页面上请求数据的API接口，模拟前端请求，获取json数据并将其解析。
Step0. 寻找一个合适的方法
进入携程机票的搜索界面，随便搜索一条航线，跳转后你会发现网址一栏变成了：http://flights.ctrip.com/booking/TAO-SJW-day-1.html?DDate1=2017-10-17
很明显，你搜索的航线是TAO青岛到SJW石家庄，起飞时间2017-10-17，整理一下url的规则就是：http://flights.ctrip.com/booking/<起飞城市三字码>-<降落城市三字码>-day-1.html?DDate1=<起飞日期>
拍脑袋想出来的方法一：直接通过页面url获取html代码，然后对html进行解析，获取到所需元素。
-> 要用xpath一层层分析网页元素，一层层解析下去，好麻烦啊！
-> 机票价格是Ajax异步请求！页面html源码中没有这部分数据的！就算你有耐心用Xpath定位，也找不到哇！
拍脑袋想出来的方法二：利用selenium框架，通过webdriver操纵浏览器完成爬取
-> 可以解决方法一中动态页面获取不到源码的问题，用xpath可以定位到元素了。
-> 可是，要是想看每个航班下所有票价信息的话，还需要点N次“订票”按钮，好麻烦呀！
-> 我用selenium尝试了一下，发现如果这个航线下的航班很多，滚动条不往下拉是不会把后面的航班加载出来的呀！这可咋整呀我无法预判这条航线下有多少航班呀。每条航线都拖动滚动条3次？5次？10次？太傻了！
……出于以上种种原因
可以用的方法三：我选择直接利用ajax请求接口，模拟请求，获取json数据
Step1. 找到API的地址
打开Chrome浏览器的开发者模式，然后重新搜索一条航线。
开发者模式 -> Networks -> XHR里面有一个耗时格外长的请求！
估计就是你了！点开看一下Query String，嗯是航线信息，的确就是这个请求。获取这个请求的地址，也就是Request URL。
把Request URL后面这一大串复制出来，整理一下：
request_url = 'http://flights.ctrip.com/domesticsearch/search/SearchFirstRouteFlights?' \
+ 'DCity1=' + dcity \ # 起飞城市三字码
+ '&ACity1=' + acity \ # 降落城市三字码
+ '&SearchType=S' \
+ '&DDate1=' + ddate \ # 起飞日期
+ '&IsNearAirportRecommond=0' \
+ '&LogToken=8428f186c3504a6ea71158b344a502f5' \
+ '&rk=0.1311117634227288233503' \
+ '&CK=05F016D386A1975EFCF0F1240BA33457' \
+ '&r=0.37113914798207880745716'
request_url后面有奇奇怪怪的四个字段，LogToken，rk，CK和r，但是我在页面源代码中只找到了rk的定义，没有找到另外两个值的来源。尝试了一下发现没有后面四个字段，也是可以可以获取到json数据的，因此直接忽略。
源码中找到的rk定义：&rk=' + Math.random()*10+'223600','0.31100000101726617620017');
Step2. 模拟请求
在Chrome中的Request Headers可以看到这个请求头有以下信息：
一般情况下模拟请求头首先要做的就是设置用户代理：
ctrip_header = {'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/60.0.3112.78 Safari/537.36'}
有了用户代理之后，我们尝试模拟请求：
# coding:utf-8
import urllib2
ctrip_header = {'User-Agent':
'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/60.0.3112.78 Safari/537.36'}
def search_flight(dcity, acity, ddate):
request_url = 'http://flights.ctrip.com/domesticsearch/search/SearchFirstRouteFlights?' \
+ 'DCity1=' + dcity \
+ '&ACity1=' + acity \
+ '&SearchType=S' \
+ '&DDate1=' + ddate
request = urllib2.Request(request_url, headers=ctrip_header)
response = urllib2.urlopen(request)
return_json = response.read()
print return_json
if __name__ == '__main__':
search_flight('TAO', 'SJW', '2017-10-17')
运行结果：
发现返回的json当中并没有想要的数据，这可能是我们请求的过程中缺少了某些信息导致的。
查看Request Headers中，除了User-Agent以外还有很多其他的字段，尝试将这些字段加入ctrip_header
# coding:utf-8
import urllib2
ctrip_header = {'User-Agent':
'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/60.0.3112.78 Safari/537.36',
'Host': 'flights.ctrip.com',
'Referer': 'http://flights.ctrip.com/booking/TAO-SJW-day-1.html?DDate1=2017-10-16'}
def search_flight(dcity, acity, ddate):
request_url = 'http://flights.ctrip.com/domesticsearch/search/SearchFirstRouteFlights?' \
+ 'DCity1=' + dcity \
+ '&ACity1=' + acity \
+ '&SearchType=S' \
+ '&DDate1=' + ddate
request = urllib2.Request(request_url, headers=ctrip_header)
response = urllib2.urlopen(request)
return_json = response.read()
print return_json
if __name__ == '__main__':
search_flight('TAO', 'SJW', '2017-10-17')
运行结果：
成功了！我本以为需要有Cookies才能请求成功的！
还好不需要Cookies！我还不太会获取Cookies，如果一定需要的话，我只能从Chrome里强行复制一波……（捂脸逃，顺便求Cookies伪造的教学）
Step3. 解析json数据
首先我们需要将刚刚请求到json数据转换为可读的格式，可以用json.loads()这个函数将json字符串转换为可读的字典。即：
return_data = json.loads(return_json, encoding='gbk')
注意前面运行结果可以看出，字符串存在显示不出来的情况，这是因为我使用的python2.7存在编码问题，需要进行编码转换，即encoding='gbk'
找到所需数据：
我们需要什么数据呢？
所有的航班号，及每个航班号下对应的所有价格。
刚刚我们看的是Headers里的信息，现在切到Preview里。Preview里的信息是格式化的返回json，在这里我们可以很清晰的找到我们需要的数据。
可以看到，fis是一个航班列表，每个都是一个json，包含航班信息，航班价格信息等等等
那么我们只需要提取fis列表中的一些有用的value值就好了。
flight_list = return_data['fis'] # 下挖到航班列表的结点
flight_nums = len(flight_list) # 航班数
for i in range(flight_nums):
airline = flight_list[i]['alc'] # 航空公司
flight_no = flight_list[i]['fn'] # 航班号
price_list = [each['p'] for each in flight_list[i]['scs'] if each['hotel'] is None] # 非飞宿产品价格
运行结果:
完整代码：
# coding:utf-8
import urllib2
import json
ctrip_header = {'User-Agent':
'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/60.0.3112.78 Safari/537.36',
'Host': 'flights.ctrip.com',
'Referer': 'http://flights.ctrip.com/booking/TAO-SJW-day-1.html?DDate1=2017-10-16'}
def search_flight(dcity, acity, ddate):
request_url = 'http://flights.ctrip.com/domesticsearch/search/SearchFirstRouteFlights?' \
+ 'DCity1=' + dcity \
+ '&ACity1=' + acity \
+ '&SearchType=S' \
+ '&DDate1=' + ddate
request = urllib2.Request(request_url, headers=ctrip_header)
response = urllib2.urlopen(request)
return_json = response.read()
# print return_json
return_data = json.loads(return_json, encoding='gbk')
flight_list = return_data['fis']
# print flight_list
flight_nums = len(flight_list)
print '共有航班:', flight_nums, '趟'
for i in range(flight_nums):
airline = flight_list[i]['alc'] # 航空公司
flight_no = flight_list[i]['fn'] # 航班号
print '携程', airline, flight_no,
price_list = [each['p'] for each in flight_list[i]['scs'] if each['hotel'] is None] # 非飞宿产品价格
print price_list
if __name__ == '__main__':
search_flight('TAO', 'SJW', '2017-10-17')
注：代码十分不规范，完全没写异常处理。近期我会努力纠正自己的习惯！
