十三. 使用API

相对于使用Requests+正则、BS4或Lxml来解析提取数据，API已经为我们做好了这一切。
换而言之，在进行网络爬虫前，应该先考虑网站是否有API。如果网站本身已经提供了API，那么不用爬虫也可以调用信息。
API：Application Programming Interface，应用编程接口。
可以考虑查询API提供商的接口，例如：百度的APIStore、聚合数据。
网址： https://www.juhe.cn/ ， http://apistore.baidu.com
另外，在知乎上查询到一些免费的API：https://www.zhihu.com/question/32225726
API 的连接也很简单，同样通过Requests请求和服务器端的Response回应来完成API的一次调用。只不过API返回的是JSON或者XML格式的数据，而不是HTML数据。

这里以翻译API为例。

1.有道翻译API HTTP地址：http://openapi.youdao.com/api
2.接口调用参数: 调用API需要向接口发送以下字段来访问服务。

字段名	类型	含义	必填	备注
q	text	要翻译的文本	True	必须是UTF-8编码
from	text	源语言	True	语言列表 (可设置为auto)
to	text	目标语言	True	语言列表 (可设置为auto)
appKey	text	应用 ID	True	可在 应用管理 查看
salt	text	随机数	True	无
sign	text	签名, 通过md5(appKey+q+salt+密钥)生成	True	appKey+q+salt+密钥的MD5值

• 支持的语言表

语言	代码
中文	zh-CHS
日文	ja
英文	EN
韩文	ko
法文	fr
俄文	ru
葡萄牙文	pt
西班牙文	es

3.签名生成方法如下：
1).将请求参数中的 appKey，翻译文本 q (注意为UTF-8编码)，随机数 salt 和密钥 （密钥可在 应用管理 查看）， 按照 appKey+q+salt+密钥 的顺序拼接得到字符串 str。
2).对字符串 str 做md5，得到32位大写的 sign (参考Java生成MD5示例)

注意:
1).请先将需要翻译的文本转换为 UTF-8 编码
2).在生成签名拼接之后，发送 HTTP 请求之前需要对各字段做 URL encode。

关于md5的生成，可以参考以下文章：
http://blog.csdn.net/m0_38080253/article/details/78838489

4.实际代码操作：

import requests
import hashlib
import random

appKey = 'XXXXX'       #应用ID，进行注册后可自动获得
secretKey = 'XXXXX'   #应用密钥，进行注册后可自动获得 

url = 'http://openapi.youdao.com/api'
# q = 'good';fromLang = 'EN';toLang = 'zh-CHS';salt = random.randint(1, 10)   #英译中
q = '你好';fromLang = 'zh-CHS';toLang = 'EN';salt = random.randint(1, 10)     #中译英

sign1 = appKey+q+str(salt)+secretKey
sign = hashlib.md5(sign1.encode(encoding='utf-8')).hexdigest()
myurl = url+'?q='+q+'&from='+fromLang+'&to='+toLang+'&salt='+str(salt)\
        +'&appKey='+appKey+'&sign='+sign
 
r = requests.get(myurl)
print(r.text)

结果：

{"tSpeakUrl":"http://openapi.youdao.com/ttsapi?q=hello&langType=en&sign=BE63D9C25C323955FB3BB22ABF996A20&salt=1519091922294&voice=4&format=wav&appKey=XXXXX","web":[{"value":["Hello","How do you do","hi"],"key":"你好"},{"value":["How are you","How Do You Do","Harvey, how are you Harvey"],"key":"你好吗"},{"value":["Teacher Kim Bong-du","My Teacher Mr Kim","Seonsaeng Kim Bong-du"],"key":"老师你好"}],"query":"你好","translation":["hello"],"errorCode":"0","dict":{"url":"yddict://m.youdao.com/dict?le=eng&q=%E4%BD%A0%E5%A5%BD"},"webdict":{"url":"http://m.youdao.com/dict?le=eng&q=%E4%BD%A0%E5%A5%BD"},"basic":{"explains":["hello","hi"]},"l":"zh-CHS2EN","speakUrl":"http://openapi.youdao.com/ttsapi?q=%E4%BD%A0%E5%A5%BD&langType=zh-CHS&sign=1F7CC5A71B46341D7D46C09261F05372&salt=1519091922294&voice=4&format=wav&appKey=XXXXX"}

若需要提取信息，可使用json模块。
其中，json.dumps()使结果呈现结构化，代码为：

import json
json_data = json.loads(r.text)
print(json.dumps(json_data, indent=4, sort_keys=False, ensure_ascii=False))

json.dumps():序列化数据类型为字符串。
json.loads():反序列化成数据类型。具体表现为：将json数据转换成字典，将json数组转换成列表，将json字符串转换成python字符串。

import json
json_data = json.loads(r.text)
print(json_data['web'][0]['value'])                  ##方法一，对字典的操作
#print(json_data.get('web')[0].get('value'))         ##方法二，用get()，结果一样。

结果：
['Hello', 'How do you do', 'hi']

百度地图API调用

import requests
import json

#address = input('请输入地点:')
par = {'address': '北京', 'key': 'cb649a25c1f81c1451adbeca73623251'}
url = 'http://restapi.amap.com/v3/geocode/geo'
r = requests.get(url, par)
print(r.text)

json_data = json.loads(r.text)
geo = json_data['geocodes'][0]['location']
longtitude = geo.split(',')[0]   #经度
latitude = geo.split(',')[1]     #纬度
print(longtitude,latitude)

结果：

{"status":"1","info":"OK","infocode":"10000","count":"1","geocodes":[{"formatted_address":"北京市","province":"北京市","citycode":"010","city":"北京市","district":[],"township":[],"neighborhood":{"name":[],"type":[]},"building":{"name":[],"type":[]},"adcode":"110000","street":[],"number":[],"location":"116.407526,39.904030","level":"省"}]}
116.407526 39.904030