python爬虫day-13（正则表达式）

2019-04-16 本文已影响0人南音木

个人学习笔记，方便自己查阅，仅供参考，欢迎交流

正则表达式

1.简单示例

开源中国提供的正则表达式测试网址：http://tool.oschina.net/regex/
正表达式匹配，就是用一定的规则将特定的文本提取出来。
对于URL，开头是协议类型，然后是冒号加双斜线，最后是域名加路径。
正则表达式：[a-zA-z]+://[^\s]*
a-z代表匹配任意的小写字母； \s表示匹配任意的空白字符；＊就代表匹配前面的字符任意多个。
Python的re库提供了整个正则表达式的实现，利用这个库，可以在Python 中使用正则表达式。正则表达式不是Python独有的，它也可以用在其他编程语言。

2.match（）

match（）方法会尝试从字符串的起始位置匹配正则表达式，如果匹配，就返回匹配成功的结果；如果不匹配，就返回None。
match （）方法在使用时需要考虑到开头的内容，做匹配时并不方便,它更适合用来检测某个字符串是存符合某个正则表达式的规则。
在 match（）方法中，第一个参数传入了正则表达式，第二个参数传入了要匹配的字符串。

import re

content = 'Hello 123 4567 World_This is a Regex Demo'
print(len(content))
result = re.match('^Hello\s\d\d\d\s\d{4}\s\w{10}',content)
print(result)
print(result.group())
print(result.span())

输出结果：41
<_sre.SRE_Match object; span=(0, 25), match='Hello 123 4567 World_This'>
Hello 123 4567 World_This
(0, 25)

输出的结果是SRE_Match对象，证明成功匹配。该对象有两个方法：group（）方法可以输出匹配到的内容，span（）方法可以输出匹配的范围，结果是（0,25），是匹配到的结果字符串在原字符串中的位置范围。

首先声明了一个字符串，其中包含英文字母、空白字符、数字等。
content = 'Hello 123 4567 World_This is a Regex Demo'
正则表达式：^Hello\s\d\d\d\s\d{4}\s\w{10}
^是匹配字符串的开头；＼s匹配空白字符；＼d匹配数字，＼w{10}匹配10个字母以下划线。

匹配目标
若想把字符串中的1234567提取出来，可以将数字部分的正则表达式用（）括起来，然后调用了group（1）获取匹配结果。正则表达式后面还有（）包括的内容，那么可以依次用 group（2），group（3）等来获取。

import re

content = 'Hello 1234567 World_This is a Regex Demo'
print(len(content))
result = re.match('^Hello\s(\d+)\sWorld',content)
#（）:匹配括号内的表达式，也表示一个组。
print(result)
print(result.group())
print(result.group(1))
print(result.span())

通用匹配
通用匹配符号，就是 .*（点星），其中.（点）可以匹配任意字符（除换行符），＊（星）代表匹配前面的字符无限次，所以组合在一起就可以匹配任意字符了。

import re 

content = 'Hello 123 4567 World_This is a Regex Deno'
result = re.match('^Hello.*Deno$',content)
#$符号:匹配一行字符串的结尾
print(result)
print(result.group())
print(result.span())

输出结果：
<_sre.SRE_Match object; span=(0, 41), match='Hello 123 4567 World_This is a Regex Deno'>
Hello 123 4567 World_This is a Regex Deno
(0, 41)

贪婪与非贪婪
在贪婪匹配下，. *（点星）会匹配尽可能多的字符。非贪婪匹配：. *?（点星问号），尽可能匹配少的字符。
在做匹配的时候，字符串中间尽量使用非贪婪匹配，也就是用：. *?（点星问号），来代替. *（点星），以免出现匹配结果缺失的情况。

import re

content = 'Hello 1234567 World_This is a Regex Deno'
result = re.match('^He.*(\d+).*Deno$',content)
#.*:贪婪匹配
result1 = re.match('^He.*?(\d+).*Deno$',content)
#.*？:非贪婪匹配
print(result)
print(result.group(1))
print(result1)
print(result1.group(1))

输出结果：
<_sre.SRE_Match object; span=(0, 40), match='Hello 1234567 World_This is a Regex Deno'>
7
<_sre.SRE_Match object; span=(0, 40), match='Hello 1234567 World_This is a Regex Deno'>
1234567

需要注意，如果匹配的结果在字符串结尾，．＊？就有可能匹配不到任何内容了，因为它匹配尽可能少的字符。

import re

content = 'http:weibo.com/comment/kEraCN'
result1 = re.match('http.*?comment/(.*?)',content)
result2 = re.match('http.*?comment/(.*)',content)
print('result1',result1.group(1))
print('result2',result2.group(1))

输出结果：
result1
result2 kEraCN

修饰符
网页匹配中，较为常用修饰符的有 re.S 和re.I。
re.S:使.匹配包括换行符在内的所有字符。
re.I:使匹配对大小写不敏感。

import re

content = '''Hello 1234567 World_This
is a Regex Demo
'''
#result = re.match('^He.*?(\d+).*?Demo$',content)
#会报错
result1 = re.match('^He.*?(\d+).*?Demo$',content,re.S)
#re.S:使.匹配包括换行符在内的所有字符。
#print(result.group(1))
print(result1.group(1))

转义匹配
遇到用于正则匹配模式的特殊字符时，在前面加反斜线转义一下即可。

import re

content  ='(百度)www.baidu.com'
result = re.match('\(百度\)www\.baidu\.com',content)
print(result)

3.search（）

match（）方法是从字符串的开头开始匹配的，一旦开头不匹配，那么整个匹配就失败。
search （）方法匹配时会扫描整个字符串，然后返回第一个成功匹配的结果。

import re

content = 'EXtra stings Hello 1234567 World This a regex Demo EXtra stings'
result = re.match('Hello.*?(\d+).*?Demo',content)
print(result)
result1 = re.search('Hello.*?(\d+).*?Demo',content)
print(result1)

输出结果：None
<_sre.SRE_Match object; span=(13, 50), match='Hello 1234567 World This a regex Demo'>

import re
html ='''<div id="songs-list" >
<h2 class ="title">经典老歌</h2>
<p class="introduction">
经典老歌列表
</p>
<ul id="list" class="list-group">
<li data-view="2">一路上有你</li>
<li data-view="7">
<a href ="/2.mp3 singer="任贤齐">沧海一声笑</a>
</li>
<li data-view="4" class="active">
<a href ="/3.mp3" singer="齐秦">往事随风</a>
</li>
<li data-view ="6">< href="/4.mp3 singer="beyond">光辉岁月 </a></li>
<li data-view ="5">< a href="/S.mp3 singer="陈慧琳">记事本</a></li>
<li data-view ="5">
href ="/6.mp3 singer ="邓丽君">但愿人长久</a>
</li>
</ul>
</div>'''
result = re.search('<li.*?active.*?singer="(.*?)">(.*?)</a>',html,re.S)
result1 = re.search('<li.*?singer="(.*?)">(.*?)</a>',html,re.S)
result2 = re.search('<li.*?singer="(.*?)">(.*?)</a>',html)
print(result.group(1),result.group(2))
print(result1.group(1),result1.group(2))
print(result2.group(1),result2.group(2))

输出结果：
齐秦往事随风
任贤齐沧海一声笑
beyond 光辉岁月

4.findall（）

search（）方法可以返回匹配正则表达式的第一个内容。
findall（）方法可以获取匹配正则表达式的所有内容。

import re
html ='''<div id="songs-list" >
<h2 class ="title">经典老歌</h2>
<p class="introduction">
经典老歌列表
</p>
<ul id="list" class="list-group">
<li data-view="2">一路上有你</li>
<li data-view="7">
<a href="/2.mp3" singer="任贤齐">沧海一声笑</a>
</li>
<li data-view="4" class="active">
<a href="/3.mp3" singer="齐秦">往事随风</a>
</li>
<li data-view ="6">< href="/4.mp3" singer="beyond">光辉岁月 </a></li>
<li data-view ="5">< a href="/5.mp3" singer="陈慧琳">记事本</a></li>
<li data-view ="5">< href="/6.mp3" singer="邓丽君">但愿人长久</a></li>
</ul>
</div>'''
results = re.findall('<li.*?href="(.*?)".*?singer="(.*?)">(.*?)</a>',html,re.S)
print(results)
print(type(results))
for result in results:
    print(result)
    print(result[0],result[1],result[2])

输出结果：
[('/2.mp3', '任贤齐', '沧海一声笑'), ('/3.mp3', '齐秦', '往事随风'), ('/4.mp3', 'beyond', '光辉岁月 '), ('/5.mp3', '陈慧琳', '记事本'), ('/6.mp3', '邓丽君', '但愿人长久')]
<class 'list'>
('/2.mp3', '任贤齐', '沧海一声笑')
/2.mp3 任贤齐沧海一声笑
('/3.mp3', '齐秦', '往事随风')
/3.mp3 齐秦往事随风
('/4.mp3', 'beyond', '光辉岁月 ')
/4.mp3 beyond 光辉岁月
('/5.mp3', '陈慧琳', '记事本')
/5.mp3 陈慧琳记事本
('/6.mp3', '邓丽君', '但愿人长久')
/6.mp3 邓丽君但愿人长久

5.sub（）

#把文本中的所有数字都去掉 
import re

content = '54aKS4yrsoiRS4ixSL2g'
content = re.sub('\d+','',content)
#\d:匹配任意空白字符，等价于[0-9]
print(content)

获取li节点的歌名，findall写法：

import re

html ='''<div id="songs-list" >
<h2 class ="title">经典老歌</h2>
<p class="introduction">
经典老歌列表
</p>
<ul id="list" class="list-group">
<li data-view="2">一路上有你</li>
<li data-view="7">
<a href="/2.mp3" singer="任贤齐">沧海一声笑</a>
</li>
<li data-view="4" class="active">
<a href="/3.mp3" singer="齐秦">往事随风</a>
</li>
<li data-view ="6">< href="/4.mp3" singer="beyond">光辉岁月 </a></li>
<li data-view ="5">< a href="/5.mp3" singer="陈慧琳">记事本</a></li>
<li data-view ="5">< href="/6.mp3" singer="邓丽君">但愿人长久</a></li>
</ul>
</div>'''
results = re.findall('<li.*?>\s*?(<a.*?>)?(\w+)(</a>)?\s*?</li>',html,re.S)
for result in results:
    print(result[1])

输出结果：一路上有你
沧海一声笑
往事随风
记事本
但愿人长久

获取li节点的歌名，使用sub（）写法：

import re

html ='''<div id="songs-list" >
<h2 class ="title">经典老歌</h2>
<p class="introduction">
经典老歌列表
</p>
<ul id="list" class="list-group">
<li data-view="2">一路上有你</li>
<li data-view="7">
<a href="/2.mp3" singer="任贤齐">沧海一声笑</a>
</li>
<li data-view="4" class="active">
<a href="/3.mp3" singer="齐秦">往事随风</a>
</li>
<li data-view ="6"><a href="/4.mp3" singer="beyond">光辉岁月 </a></li>
<li data-view ="5"><a href="/5.mp3" singer="陈慧琳">记事本</a></li>
<li data-view ="5"><a href="/6.mp3" singer="邓丽君">但愿人长久</a></li>
</ul>
</div>'''
html = re.sub('<a.*?>|</a>','',html)
#print(html)
results = re.findall('<li.*?>(.*?)</li>',html,re.S)
for result in results:
    print(result.strip())

6.compile（）

compile（）方法，可以将正则字符串编译成正则表达式对象，以便在后面的匹配中复用。

import re

content1 = '2016-12-15 12:00'
content2 = '2016-12-17 12:55'
content3 = '2016-12-22 13:21'
pattern = re.compile('\d{2}:\d{2}')
result1 = re.sub(pattern,'',content1)
result2 = re.sub(pattern,'',content2)
result3 = re.sub(pattern,'',content3)
print(result1,result2,result3)