孤荷凌寒自学python第七十三天开始写Python的第一个爬虫
孤荷凌寒自学python第七十三天开始写Python的第一个爬虫3
（完整学习过程屏幕记录视频地址在文末）
今天在上一天的基础上继续完成对我的第一个代码程序的书写。
直接上代码。详细过程见文末屏幕录像。
import requests
from bs4 import BeautifulSoup
import re
import datetime
import _mty
import _mf
import _mbs4
def msgbox(info,titletext='孤荷凌寒的DB模块对话框QQ578652607',style=0,isShowErrMsg=False):
return _mty.msgboxGhlh(info,titletext,style,isShowErrMsg)
def myfirst(s,h):
r=requests.get(s,headers=h)
#print(r.text) #r.text得到的是页面源html代码
_mf.writeAllTextToTxtFileGhlh('1.txt',r.text)
bs=BeautifulSoup(r.text,features="lxml") #第二个参数指明了解析器,得到的是一个beautifulsoup对象
s=bs.prettify()
_mf.writeAllTextToTxtFileGhlh('2.txt',str(s))
rs=bs.select('.bigsize') #选择指定style样式表的html标签元素
for i in rs:
ele=i.find_all('a') #每个h5标签下只有一个a标签
strls=ele[0].get('href')
msgbox(strls) #取出地址
getcontentpage(strls,h)
break
def getcontentpage(strurl,h):
r=requests.get(strurl,headers=h)
_mf.writeAllTextToTxtFileGhlh('3.txt',r.text)
bs=BeautifulSoup(r.text,features="lxml") #第二个参数指明了解析器,得到的是一个beautifulsoup对象
s=bs.prettify()
_mf.writeAllTextToTxtFileGhlh('4.txt',str(s))
#---------------------------
#eletemp=bs.find_all("#epContentLeft") #现在eletemp是一个rs集合对象
#上一句是错误的，通过html标签对象的id值来查找应当使用的方法是：select方法
eletemp=bs.select('#epContentLeft') #list
msgbox(str(type(eletemp)))
eletitleparent=eletemp[0] #bs.element.Tag
msgbox(str(type(eletitleparent)))
eletitle=eletitleparent.h1
elesource=eletitleparent.div #elesource这种对象现在被称为：bs.element.Tag对象，可以被转换为列表，但不是列表
#msgbox(str(elesource))
strtitle=_mbs4.getAllTextGhlh(eletitle)
strdate=list(elesource)[0]
strdate=strdate.replace('来源:','')
strdate.strip()
strsource=_mbs4.getAllTextGhlh(elesource.a)
#msgbox(strtitle)
#msgbox(strsource)
msgbox(strdate)
#取正文
elecontent=bs.select('#endText') #所有的正文内容都这个div中,elecotent是一个List？
strcontent=_mbs4.getAllTextGhlh(elecontent)
data={
u'标题':strtitle,
u'日期':strdate,
u'来源':strsource,
u'内容':strcontent,
u'添加日期':datetime.datetime.now().__format__('%Y-%m-%d %H:%M:%S')
}
print(data)
strurl='http://tech.163.com/special/techscience/'
header={
'Accept':'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8',
'Accept-Encoding':'gzip, deflate',
'Accept-Language':'zh-CN,zh;q=0.9',
'Cache-Control':'max-age=0',
'Connection':'keep-alive',
'Cookie':'_ntes_nuid=4c64ad6c80e3504f05302ac133efb277; _ntes_nnid=eb7c24e0daf48e922e31dc81e431fde2,1536978956105; Province=023; City=023; NNSSPID=acab5be191004a2b81a3a6ee60f516dc; NTES_hp_textlink1=old; UM_distinctid=1683adcaeaf2f8-0e31bcdad8532c-3c604504-144000-1683adcaeb094d; vjuids=-7a5afdb26.1683adccded.0.d9d34439a4e48; vjlast=1547175776.1547175776.30; ne_analysis_trace_id=1547175775731; s_n_f_l_n3=7476c45eb02177f91547175775852; vinfo_n_f_l_n3=7476c45eb02177f9.1.0.1547175775852.0.1547176062972',
'Host':'tech.163.com',
'If-Modified-Since':'Fri, 11 Jan 2019 03:01:05 GMT',
'Referer':'http://tech.163.com/',
'Upgrade-Insecure-Requests':'1',
'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36'
}
header2={
'Host':'tech.163.com',
'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36'
}
myfirst(strurl,header2)
二、为了取出指定html相关对象中内含的innerText文本方便，专门写了一函数并放在一个自定义模块中：
【_mbs4.py】
#!/usr/bin/env python3
# -*- coding: utf-8 -*-
import string
import _mty
import _cl #常用常量模块
import _mre
mbsErrString=''
def msgbox(info,titletext='孤荷凌寒的bs4模块对话框QQ578652607',style=0,isShowErrMsg=False):
return _mty.msgboxGhlh(info,titletext,style,isShowErrMsg)
#取出一个html相关对象中的全部内含文本内容
def getAllTextGhlh(obj,isShowMsg=False):
try:
#判断 obj 的类型
t=type(obj)
st=str(t)
st=st.lower()
#----------------
print(st)
msgbox(st)
#----------------
strr=''
#---------------------
if st=="<class 'bs4.element.tag'>":
strr=obj.get_text() #这种对象，直接使用get_text()方法即可。
#--------------------------
if st=="<class 'list'>":
for i in obj:
strr=strr + '\n' + str(i.get_text())
#--------------
return strr
except Exception as e:
mbsErrString='尝试取出一个html页面元素相关对象的内含文本时出错:' + str(e) + '\n此函数由【孤荷凌寒】创建,QQ578652607'
if isShowMsg==True:
msgbox(mbsErrString)
return ''
else:
pass
finally:
pass
三、其它收获
前一天，我的笔记中提到：
在beautifulsoup模块中，html源代码组织的文档，任何一个部分都被看作是对象，被完全对象化了！
1.如下Html源代码片断：
<div class="post_time_source">
2019-01-11 11:44:49****** 来源:
<a href="#" id="ne_article_source" rel="nofollow" target="_blank">
知识分子
</a>
</div>
当我取得html标签对象div的时候（准确的说得到了一个指向div标签的bs.element.Tag对象。
这个时候，我尝试使用
html标签对象.string
属性取出这个div标签内含的文本内容（即【2019-01-11 11:44:49 来源:】）
时是取不出来的，因为这个时候：
【2019-01-11 11:44:49 来源:】
与
【<a href="#" id="ne_article_source" rel="nofollow" target="_blank">知识分子</a>】
这两个内容都被看作了这个div对象的两个子对象，在这个html标签对象中没有任何内含文本。
2.什么时候才算作一个标签的内含文本呢？
如下面的标签内容：
<a href="#" id="ne_article_source" rel="nofollow" target="_blank">
知识分子
</a>
这个a标签对象是有内含文本的，因为它的内含内容只有文本，没有其它任何别的对象，只有这种情况下，才算作html标签对象的内含文本。
今天发现了想要取出一个bs.element.Tag对象中的innerText文本，包括其子对象中的innerText文本，其实有一个更好的方法：
get_text()
此方法与
string
属性不同。
——————————
今天整理的学习笔记完成，最后例行说明下我的自学思路：
根据过去多年我自学各种编程语言的经历，认为只有真正体验式，解决实际问题式的学习才会有真正的效果，即让学习实际发生。在2004年的时候我开始在一个乡村小学自学电脑 并学习vb6编程语言，没有学习同伴，也没有高师在上，甚至电脑都是孤岛（乡村那时还没有网络），有的只是一本旧书，在痛苦的自学摸索中，我找到适应自己零基础的学习方法：首先是每读书的一小节就作相应的手写笔记，第二步就是上机测试每一个笔记内容是否实现，其中会发现书中讲的其实有出入或错误，第三步就是在上机测试之后，将笔记改为电子版，形成最终的修订好的正确无误的学习笔记 。
通过反复尝试错误，在那个没有分享与交流的黑暗时期我摸黑学会了VB6，尔后接触了其它语言，也曾听过付费视频课程，结果发现也许自己学历果然太低，就算是零基础的入门课程，其实也难以跟上进度，讲师的教学多数出现对初学者的实际情况并不了解的情况，况且学习者的个体也存在差异呢？当然更可怕的是收费课程的价格往往是自己难以承受的。
于是我的所有编程学习都改为了自学，继续自己的三步学习笔记法的学习之路。
当然自学的最大问题是会走那么多的弯路，没有导师直接输入式的教学来得直接，好在网络给我们带来无限搜索的机会，大家在网络上的学习日志带给我们共享交流的机会，而QQ群等交流平台、网络社区的成立，我们可以一起自学，互相批评交流，也可以获得更有效，更自主的自学成果。
于是我以人生已过半的年龄，决定继续我的编程自学之路，开始学习python，只希望与大家共同交流，一个人的独行是可怕的，只有一群人的共同前进才是有希望的。
诚挚期待您的交流分享批评指点！欢迎联系我加入从零开始的自学联盟。
这个时代互联网成为了一种基础设施的存在，于是本来在孤独学习之路上的我们变得不再孤独，因为网络就是一个新的客厅，我们时刻都可以进行沙龙活动。
非常乐意能与大家一起交流自己自学心得和发现，更希望大家能够对我学习过程中的错误给予指点——是的，这样我就能有许多免费的高师了——这也是分享时代，社区时代带来的好福利，我相信大家会的，是吧！
根据完全共享的精神，开源互助的理念，我的个人自学录制过程是全部按4K高清视频录制的,从手写笔记到验证手写笔记的上机操作过程全程录制，但因为4K高清文件太大均超过5G以上，所以无法上传至网络，如有需要可联系我QQ578652607对传，乐意分享。上传分享到百度网盘的只是压缩后的720P的视频。
我的学习过程录像百度盘地址分享如下：（清晰度：1280x720）
链接：https://pan.baidu.com/s/1nAy8R09jK9wnFlQWMlwr6A
提取码：x6ti
Bilibili:
https://www.bilibili.com/video/av40813188/
喜马拉雅语音笔记：
https://www.ximalaya.com/keji/19103006/153771532
͎TK��<
