寒假学爬虫笔记 NO.2

新闻爬虫1.1 抓取新闻内页

材料：Pycharm，Chrome开发人员工具，infoLite插件，bs4，request

在前面我们已经将新闻列表页面的所有链接都下载下来了，但是还不够，我们希望可以获取链接所指的各个单个新闻的标题、来源、时间以及内文。
这里我们从特殊到一般，而用到的方法还是笔记NO.1中对select的活用，先以一个链接为例。

取得内文页面

和抓取列表页面的初始步骤一样，我们首先要将原材料整个的放到soup里进行一个剖析，然后再逐个提取出我们想要的元素。取得页面的说明不再赘述。

import requests
from bs4 import BeautifulSoup
res = requests.get('http://news.sina.com.cn/c/nd/2017-01-04/doc-ifxzczff3681310.shtml')
res.encoding = 'utf-8'
soup = BeautifulSoup(res.text,'html.parser')

获取内文标题

通过检查工具得知标题是一个特殊的css属性标签，ID是artibodyTitle，通过soup的select传回一个list，再通过取出list里内容的方法取出来。

title= soup.select('#artibodyTitle')[0].text

取得来源和时间

本来想处理时间，时间的类是time-source，结果select回传的结果里既有时间又有来源。使用.text也无法将之分开。
select的回传列表结果：

[<span class="time-source" id="navtimeSource">2017年01月04日09:47      <span>
<span data-sudaclick="media_name">
\<a href="http://www.cma.gov.cn/2011zwxx/2
011zyjgl/2011zyjxy/2011zqxyj/201701/\t20170104_382215.html
\" rel="nofollow" target="_blank">政府网站</a></span></span>
</span>]

所以这里要采用contents将时间和来源取出来。

关于.contents的帮助文档说明
tag的.contents属性可以将tag的子节点以列表的方式输出。新闻的时间精确到日就可以了，对字符串进行切片处理。

time = soup.select('.time-source')[0].contents[:10]

接下来我们要思考如何取出来源，通过检查工具我们可以看到，来源是在时间的层级之下的，这也很好的解释了为什么用contens处理下来，和来源有关的东西并没有发生变化，因为它是附属其下，并且由一个span里的a tag控制的。

![Uploading time-source_539741.png . . .]

所以试试用这个把它select出来

medianame = soup.select('.time-source span a')[0].text

取得内文

内文位于artibody p里，同样的方法取出。观察由三个成分组成，<p>分隔符、控制符以及我们需要的文字内容。通过strip去除控制符，再遍历输出

article = soup.select('#artibody p')[:-1]

获得编辑名称

同理，略

author = soup.select('.article-editor')[0].text.strip('责任编辑：')

新闻爬虫1.1 抓取新闻内页

材料：Pycharm，Chrome开发人员工具，infoLite插件，bs4，request

在前面我们已经将新闻列表页面的所有链接都下载下来了，但是还不够，我们希望可以获取链接所指的各个单个新闻的标题、来源、时间以及内文。
这里我们从特殊到一般，而用到的方法还是笔记NO.1中对select的活用，先以一个链接为例。

取得内文页面

和抓取列表页面的初始步骤一样，我们首先要将原材料整个的放到soup里进行一个剖析，然后再逐个提取出我们想要的元素。取得页面的说明不再赘述。

import requests
from bs4 import BeautifulSoup
res = requests.get('http://news.sina.com.cn/c/nd/2017-01-04/doc-ifxzczff3681310.shtml')
res.encoding = 'utf-8'
soup = BeautifulSoup(res.text,'html.parser')

获取内文标题

通过检查工具得知标题是一个特殊的css属性标签，ID是artibodyTitle，通过soup的select传回一个list，再通过取出list里内容的方法取出来。

title= soup.select('#artibodyTitle')[0].text

取得来源和时间

本来想处理时间，时间的类是time-source，结果select回传的结果里既有时间又有来源。使用.text也无法将之分开。
select的回传列表结果：

[<span class="time-source" id="navtimeSource">2017年01月04日09:47      <span>
<span data-sudaclick="media_name">
\<a href="http://www.cma.gov.cn/2011zwxx/2
011zyjgl/2011zyjxy/2011zqxyj/201701/\t20170104_382215.html
\" rel="nofollow" target="_blank">政府网站</a></span></span>
</span>]

所以这里要采用contents将时间和来源取出来。

关于.contents的帮助文档说明
tag的.contents属性可以将tag的子节点以列表的方式输出。新闻的时间精确到日就可以了，对字符串进行切片处理。

time = soup.select('.time-source')[0].contents[:]

接下来我们要思考如何取出来源，通过检查工具我们可以看到，来源是在时间的层级之下的，这也很好的解释了为什么用contens处理下来，和来源有关的东西并没有发生变化，因为它是附属其下，并且由一个span里的 a tag 控制的。

time-source.png

所以试试用这个把它select出来

medianame = soup.select('.time-source span a')[0].text

取得内文

内文位于artibody p里，同样的方法取出。观察由三个成分组成，<p>分隔符、控制符以及我们需要的文字内容。通过strip去除控制符，再遍历输出

article = soup.select('#artibody p')[:-1]

获得编辑名称

同理，略

author = soup.select('.article-editor')[0].text.strip('责任编辑：')