爬虫数据采集Post随机值问题之一
2019-07-13 本文已影响0人
八维数据
最近在采集中碰到一个post数据的随机值问题，平常我们在post数据的时候基本上会有常见的变量词，比如page，num等，一看就知道post请求值的变化位置，这次变量值都是一些随机值，不仔细分析还真让我绕了很久。
分析网址：http://59.175.169.110/web/QyManage/QyList.aspx?qymc=
先抓包一个分页的post值，看图
post请求值
图片中箭头指向的都是随机值变化的，我这边主要搞乱在了，EVENTTARGET上面，就是第一个随机值问题，没注意到这个变化值只变化了两次，首先采集数据前，我们要先抓包首页数据的post数据，
post首页请求
这个EVENTTARGET值，我以为一直是 lbtnTop，而这个EVENTTARGET源代码里是没有的，算是固定值，然后在采集中发现，首页和分页用的是不一样的值，从两张图看出，首页用的是lbtnTop，分页用的是 lbtnNext，这个一定要注意了，后面的两个变量值获取，都是通过上一页源代码里的直接获取调用的。
这种采集方式还是比较特殊的，需要处理post值前要先获取到上一页的随机值进行组合处理的 。
不懂抓包方法可以看一下这篇文章：https://www.jianshu.com/p/ae34cb6ab446
投稿人：八维数据
