js逆向爬虫：有道词典

现在很多网站，我们进行网络请求时候，都会有自动生成的加密参数，这给我们进行爬虫数据获取工作造成了很多的困扰，遇到这些情况，我们需要使用js逆向技术，下面我们来演示有道翻译网站。

真夜猫

js调试分析:

首先我们来打开这个网页： 真夜猫
我们抓包可以看出，以上标注的salt、sign、lts、bv四个参数是有加密的，由经验可知salt和lts应该是时间戳，我们需要通过js逆向的方法，将其对应的js代码扣出。 真夜猫
首先我们来对sign进行搜索，发现一条对应的包，我们点击进入： 真夜猫
进行断点调试我们可以看出，这个是参数加密的地方，我们来将其对应的函数扣出 真夜猫
从断下来的部分我们进入函数可以看出，这是个md5加密，上面的黄色标注，h、l、c、y等函数我们也需要将其扣出，我们可以通过任意下断点的方法找到其对应的位置： 真夜猫
通过下断点，我们定位到这些函数的位置，直接将其扣出： 真夜猫
贴上扣出的js代码运行效果： 真夜猫
这就是我们需要的加密参数，我们成功的抠出了所有需要加密的参数代码。

我们接着来写有道词典爬虫

导入的库

import requests
import execjs
from copyheaders import headers_raw_to_dict
import json

js读取、js代码运行函数

def get_js_data(data):#js运行
    jsstr = get_js()
    ctx = execjs.compile(jsstr) #加载JS文件
    return (ctx.call('get_data',data))#调用js方法  第一个参数是JS的方法名，后面的data和key是js方法的参数

def get_js():#js读取
    f = open("有道.js", 'r', encoding='utf-8') # 打开JS文件
    line = f.readline()
    htmlstr = ''
    while line:
        htmlstr = htmlstr+line
        line = f.readline()
    return htmlstr

翻译函数

def translate_words(words):
    url="http://fanyi.youdao.com/translate_o?smartresult=dict&smartresult=rule"

    headers={
        'Referer': 'http://fanyi.youdao.com/',
        "Cookie": 'OUTFOX_SEARCH_USER_ID_NCOO=846052623.9747938; OUTFOX_SEARCH_USER_ID="803356045@10.108.160.19"; JSESSIONID=aaaRxSahj_QZshKgp28vx; ___rl__test__cookies=1604117668954',

        "User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.108 Safari/537.36"
    }

    infos=get_js_data(words)
    data={
        "i": words,
        "from": "AUTO",
        "to": "AUTO",
        "smartresult": "dict",
        "client": "fanyideskweb",
        "salt": infos['salt'],
        "sign": infos['sign'],
        "lts":infos['ts'],
        "bv":infos['bv'],
        "doctype": "json",
        "version": "2.1",
        "keyfrom": "fanyi.web",
        "action": "FY_BY_REALTlME"
    }
    resp=requests.post(url=url,headers=headers,data=data)
    # print(resp.text)
    datas=json.loads(resp.text)['translateResult'][0][0]['tgt']
    print(datas)

主函数和运行代码

def main():
    while True:
        words=input("请输入：")
        translate_words(words)

if __name__ == '__main__':
    main()

运行结果 运行.PNG

成功完成，给个关注给个赞吧！！！