python爬虫动态页面xpath无法解析
2019-05-20 本文已影响0人
时间之外的故事
1. 无法解析的原因
当使用requests.get()获取某一页面后,程序正常返回html页面,但页面的主内容存在于<script>主内容</script>标签中,使用xpath无法解析。
2. 解决方案
- 使用正则
- 使用selenium模仿浏览器登录,获取JavaScript执行后的html页面
当使用requests.get()获取某一页面后,程序正常返回html页面,但页面的主内容存在于<script>主内容</script>标签中,使用xpath无法解析。