破解有道字典查询JS加密算法:

基础知识:

一般的网页爬虫,都有三个阶段的爬虫难度:
第一:是直接通过已经渲染好的HTML代码爬取内容;
第二:是通过抓包的方式获取ajax异步加载的json数据格式
第三:就是通过加密的js参数来破解加密的js文件来爬取数据

分析网页:

• 通过监视查询的提交过程的抓包可知:网页是通过如下网址,通过POST的提交方式查询的:

http://fanyi.youdao.com/translate_o?smartresult=dict&smartresult=rule

• 并且提交以下一系列的表单元素:

youdao_data.png

• 通过分析可知:除salt和sign和查询内容i之外所有的参数都是固定不变的;因此需要得到这个两个参数的变化的值;

加密参数的产生一种是由客户端产生并提交给服务器的,另一种是由服务器产生然后赋予给客户端,例如cookie

• 在分析网页无其他特殊请求之后,参数的产生即为js加密生成的参数;在网页的源代码中搜索.js,查找引用的js文件:

youdao_js.png

• 在如上的http://shared.ydstatic.com/api/fanyi-web/assets/index.min.js的js文件中存在salt和sign的生成过程,用站长工具-在线代码格式化将经过简化的js代码文件格式化分析js代码;

分析JS文件:

在经过格式化的js文件中找到如下代码段:

...
function(e, t) {
    var n = e("./jquery-1.7"),
    r = e("./utils");
    e("./md5");
    var i = r.deEight("rY0D^0'nM0}g5Mm1z%1G4"),
    o = "" + ((new Date).getTime() + parseInt(10 * Math.random(), 10));
    t.recordUpdate = function(e) {
        var t = e.i,
        r = n.md5("fanyideskweb" + t + o + i);
        n.ajax({
            type: "POST",
            contentType: "application/x-www-form-urlencoded; charset=UTF-8",
            url: "/bettertranslation",
            data: {
                i: e.i,
                client: "fanyideskweb",
                salt: o,
                sign: r,
                tgt: e.tgt,
                modifiedTgt: e.modifiedTgt,
                from: e.from,
                to: e.to
            },
            ...

1.分析salt参数:

• 可以找到salt参数是被o参数定义,也就是被如下定义:

    o = "" + ((new Date).getTime() + parseInt(10 * Math.random(), 10));

• 事实上参数o就是毫秒格式的时间戳类型并且加上一个0~10的随机数

2.分析sign参数:

• sign参数被r参数定义,接受四个参数并采用md5的加密算法:

r = n.md5("fanyideskweb" + t + o + i)
...
sigh = r

• 参数fanyideskweb为固定参数

• 参数t即i,为用户查询的内容字符串

• 参数o即为salt参数

    deEight: function(e) {
        var t, n = new Array,
        r = e.split("\\");
        if (1 == r.length) return r[0];
        for (t = 1; t < r.length; t++) n += String.fromCharCode(parseInt(r[t], 8));
        return e = n
        },

• 参数i被属性定义:var t = r.deEight("rY0D^0'nM0}g5Mm1z%1G4"),在JS的文件当中,找到deEight方法;方法的作用就是去除\\的符号,当传入的固定值为rY0D^0'nM0}g5Mm1z%1G4,返回的值依然是这个

破解加密:

1.生成一个毫秒的timestamp的参数:

• 在Python中生成一个这样的参数类型:

improt random
improt time
...
timestamp = int(time.time()*1000) + random.randint(0,10)
...

2.通过md5的解密算法获得sign参数:

import hashlib
...
u = 'fanyideskweb'
o = 'hello'
a = str(timestamp)
t = "rY0D^0'nM0}g5Mm1z%1G4"

sign = hashlib.md5((u+o+a+t).encode('utf-8')).hexdigest()