起因

最近手机用谷歌日历,发现可以把课表导入,桌面小插件看课表很方便,然后用js还要开浏览器,于是就去了解了下Node.js,发现可以很方便爬取数据

思路

首先获取网站cookie，然后模拟登陆，再把课表文件下载下来

使用工具

Node.js
superagent, fs 模块

superagent是一个轻量级ajaxAPI，是一个关于HTTP方面的一个库，使用链式写法。
fs是Node.js自带的模块，用于与文件系统进行交互。

安装

$ npm install superagent --save

引用

const superagent = require("superagent")
const fs = require("fs")

使用到的代码

superagent
    .[get/post/...](url)
    .set()
    .send()
    .end(function(err,res){
        //do something
    })

• 设置请求，参数中加入请求地址(例如向baidu发送get请求)

  .get("https://www.baidu.com")
  

• 设置请求头
  • 单个设置

    .set('Referer','https://www.google.com')
    

  • 一起设置(传入json数据)

    .set({
        "Cache-Control": "max-age=0",
        "Content-Length": "57",
    })
    

• 发送数据(传入json数据)

  .send({
      "sss":"xxx",
      "kkk":"yyy",
  })
  

• 处理返回数据

  .end(function(err, res){
      if(err){
          return console("xxx出错" + err)
      }
      //对得到的res做处理
  })
  

  • res
    • res.text包含为被解析的响应数据
    • res.body将解析返回的数据，但是目前只支持三种格式(application/x-www-form-urlencoded， application/json和multipart/form-data)
    • res.header响应头,是一个Object
    • res.type & res.charset 类型和编码格式
    • res.status 状态码

关于superagent的详细内容，可以到简书这篇文章查看

• fs

  fs.writeFile("result.json", JSON.stringify(res.body.xkxx), function (err) {
      if (err) {
          return console.log("文件写入失败" + err)
      }
      console.log("文件写入成功")
  })
  

  fs.writeFile(file, data[, options], callback)是一个向本地写入文件的函数。
  • 第一个参数是文件名
  • 第二个参数是写入的数据
  • 第三个参数是可选参数，指定编码格式。
  • 第四个参数是回调函数,回调函数只有一个参数，就是error

关于fs模块的详细内容，可以到这篇api文档查看查看

---

接下来是爬虫过程

分析页面

打开登陆页面，清除cookie，F12打开控制台，切换到Network选项卡，刷新页面

network

发现4个文件，很明显login文件是我们要的，其他都是网站资源文件
点击login

login文件

查看General头，发现请求发放是get
查看response Headers，找到set-Cookie
查看Request Headers，将请求头复制下来，以模拟登陆

接下来进行第一步，获得cookie

//获取cookie, url 和 headers根据上文在上方定义出来
var cookie
superagent.get(url)
    .set(headers)
    .end(function (err, res) {
        if (err) {
            return console.log("获取cookie发生错误")
        }
        cookie = res.headers["set-cookie"]
        console.log("获得到的cookie为：" + cookie)

        //模拟登陆
        login()
    })

第二步，模拟登陆
勾选上Preserve log(在页面刷新或更改之间保留控制台历史记录。 消息将一直存储，直至清除控制台或者关闭标签。)

Preserve log

然后点击登录按钮

查找模拟登陆发送数据页面

经过分析发现是名为j_spring_security_check的文件接收到Form Data数据，进行登陆验证
点击文件，查看

j_spring_security_check文件的Grneral

发现请求方法是POST，地址为http://xsjwxt.sxau.edu.cn:7872/j_spring_security_check
继续看请求头，

j_spring_security_check文件的Request Headers

发现里面有cookie请求头，但是我们前面获取过了，所以将除了cookie的请求头复制下来
然后set里面设置cookie就好啦
接着查看Form Data

Form Data

多次试验发现j_captcha1是固定值error(ps: 无语)
然后将Form Data 需要的数据写成一个json变量，send出去

function login() {
    superagent.post("http://xsjwxt.sxau.edu.cn:7872/j_spring_security_check")
        .set(headers1)
        .set("Cookie", cookie)
        .send(sxau)
        .end(function (err, res) {
            if (err) {
                return console.log("模拟登陆出错")
            }

            //爬取课表页面
            course()
        })
}

然后就进入课表页面爬取数据啦
和上面一样的操作爬取下来，发现并没有得到数据，经过观察发现课表是用js代码在页面加载完毕后写入的，
于是在Network一一查看文件，最后发现是名为callback的文件返回的是课程数据的json格式

callback文件

于是直接爬取callback文件
经过和上面一样的操作，将课表成功下载到本地

function getClass() {
    superagent.get("http://xsjwxt.sxau.edu.cn:7872/student/courseSelect/thisSemesterCurriculum/ajaxStudentSchedule/callback")
        .set("DNT",1)
        .set("Referer", "xsjwxt.sxau.edu.cn:7872/student/courseSelect/thisSemesterCurriculum/index")
        .set("User-Agent", "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36")
        //.set("selectionBar",82022)
        .set("Host", "xsjwxt.sxau.edu.cn:7872")
        .set("X-Requested-With", "XMLHttpRequest")
        .set("Accept", "*/*")
        .set("Accept-Encoding", "gzip, deflate")
        .set("Proxy-Connection", "keep-alive")
        .set("Cookie", cookie)
        .end(function (err, res) {
            if (err) {
                return console.log("获取课表文件失败" + err)
            }
            fs.writeFile("result.json", res.text, function (err) {
                if (err) {
                    return console.log("课表文件写入失败" + err)
                }
                console.log("课表文件写入成功")
            })
        })

}

查找课程数据时，发现getSectionAndTime文件返回的是课程时间，于是把getSectionAndTime文件下载下来，然后配合课表文件，就可以很方便处理成Google日历可以导入的ics文件了。

运行结果：

运行结果

---

所有代码

const superagent = require("superagent")
const fs = require("fs")

//需要的登陆信息
var sxau = {
    "j_username": name,
    "j_password": password,
    "j_captcha1": "error",
}
var url = "http://xsjwxt.sxau.edu.cn:7872"

//请求头
var headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36",
    "Accept": "text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8",
    "Accept-Encoding": "gzip, deflate",
    "Accept-Language": "zh-CN,zh;q=0.9,en-US;q=0.8,en;q=0.7",
    "Cache-Control": "max-age=0",
    "Content-Length": "57",
    "Content-Type": "application/x-www-form-urlencoded",
    "DNT": "1",
    "Host": "xsjwxt.sxau.edu.cn:7872",
    "Origin": "http://xsjwxt.sxau.edu.cn:7872",
    "Connection": "keep-alive",
    "Referer": "http://xsjwxt.sxau.edu.cn:7872/login",
    "Upgrade-Insecure-Requests": "1",
},
headers1 = {
    "DNT": 1,
    "Referer": "xsjwxt.sxau.edu.cn:7872/student/courseSelect/thisSemesterCurriculum/index",
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36",
    "Host": "xsjwxt.sxau.edu.cn:7872",
    "X-Requested-With": "XMLHttpRequest",
    "Accept-Encoding": "gzip, deflate",
    "Proxy-Connection": "keep-alive",
}

//获取cookie
var cookie
superagent.get(url)
    .set(headers)
    .end(function (err, res) {
        if (err) {
            return console.log("获取cookie发生错误")
        }
        cookie = res.headers["set-cookie"]
        console.log("获取到的cookie是：" + cookie)

        login()
    })

//模拟登陆
function login() {
    superagent.post("http://xsjwxt.sxau.edu.cn:7872/j_spring_security_check")
        .set(headers)
        .set("Cookie", cookie)
        .send(sxau)
        .end(function (err, res) {
            if (err) {
                return console.log("模拟登陆出错")
            }

            getClass()
            getTime()
        })
}

function getClass() {
    superagent.get("http://xsjwxt.sxau.edu.cn:7872/student/courseSelect/thisSemesterCurriculum/ajaxStudentSchedule/callback")
        .set(headers1)
        .set("Accept", "*/*")
        .set("Cookie", cookie)
        .end(function (err, res) {
            if (err) {
                return console.log("获取课表文件失败" + err)
                
            }
            fs.writeFile("result.json", res.text, function (err) {
                if (err) {
                    return console.log("课表文件写入失败" + err)
                }
                console.log("课表文件写入成功")
            })
        })

}

function getTime() {
    superagent.post("http://xsjwxt.sxau.edu.cn:7872/ajax/getSectionAndTime")
        .set(headers1)
        .set("Accept", "application/json, text/javascript, */*; q=0.01")
        .set("Content-Type", "application/x-www-form-urlencoded; charset=UTF-8")
        .set("Cookie", cookie)
        .end(function (err, res) {
            if (err) {
                return console.log("获取上课时间失败" + err)
            }
            fs.writeFile("time.json", res.text, function (err) {
                if (err) {
                    return console.log("上课时间文件写入失败")
                }
                console.log("上课时间文件写入成功")
            })
        })

}