爬虫Python打卡学习

正则表达式

2018-03-16  本文已影响9人  shenyoujian

正则表达式是用来匹配字符串的武器,它的设计思想是用一种描述性的语言来给字符串定义一个规则,凡是符合规则的字符串,我们就认为它“匹配”了,否则,该字符串就是不合法的。

一、先记住几个最常用的

二、进阶

要做到更精确地匹配,可以用[]表示范围,比如:

[0-9a-zA-Z_]可以匹配一个数字、字母或者下划线

[0-9a-zA-Z_]可以匹配至少由一个数字、字母或者下划线组成的字符串,比如'a100','0_z','Py3000'等等

[a-zA-Z_][0-9a-zA-Z_]*可以匹配由字母或下划线开头,后接任意个由一个数字、字母或者下划线组成的字符串

[a-zA-Z_][0-9a-zA-Z_]{0, 19}更精确地限制了变量的长度是1-20个字符(前面1个字符+后面最多19个字符)

A|B可以匹配A或B,所以(P|p)ython可以匹配'Python'或者'python'。
表示行的开头,\d表示必须以数字开头。

$表示行的结束,\d$表示必须以数字结束。

你可能注意到了,py也可以匹配'python',但是加上^py$就变成了整行匹配,就只能匹配'py'了。

三、Python的re模块

上面的知识在很多编程语言都是通用的,而python提供了re模块供我们使用正则表达式
1、由于python的字符串本身也用\转义,所以要注意:

s = 'ABC\\-001'     #python的字符串

对应的正则表达式字符串变成:

'ABC\-001'

为了避免转义我们前面加个r,前面操作文件的路径也是这样。
先看看如何判断正则表达式是否匹配:

>>>import re
>>>re.match(r'^\d{3}\-\d{3,8}$','010-12345')        #以任意三个数字开头然后-然后以任意3到8个数字结尾,所以是匹配成功的
<_sre.SRE_Match object; span=(0, 9), match='010-12345'>  #Match对象
>>> re.match(r'^\d{3}\-\d{3,8}$','010 12345')       #匹配失败返回None

match()方法判断是否匹配,如果匹配成功,返回一个Match对象,否则返回None。常见的判断方法就是:

test = '用户输入的字符串'
if re.match(r'正则表达式', test):
    print('ok')
else:
    print('failed')

2、切分字符串
我们用split来切分

>>> 'a b  c'.split(' ')
['a', 'b', '', 'c']
>>> 'a b  c'.split('  ')
['a b', 'c']

上面这些都不是我们想要的
我们使用正则表达式

>>> re.split(r'\s+','a b  c')
['a', 'b', 'c']

无论多少个空格都可以正常分割。加入,试试:

>>> re.split(r'[\s\,]+', 'a,b, c  d')
['a', 'b', 'c', 'd']

再加入;试试:

>>> re.split(r'[\s\,\;]+', 'a,b;; c  d')
['a', 'b', 'c', 'd']

3、分组:
除了判断是否匹配之外,正则表达式还可以提取子串的功能,用()表示就是要提取的分组(Group)

>>> m = re.match(r'^(\d{3})-(\d{3,8})$','010-12345')
>>> m
<_sre.SRE_Match object; span=(0, 9), match='010-12345'>
>>> m.group(0)
'010-12345'
>>> m.group(1)
'010'
>>> m.group(2)
'12345'
>>>

如果正则表达式中定义了组,就可以在Match对象上用group()方法提取出子串来。注意到group(0)贪婪匹配的最大长度,group(1)、group(2)……表示第1、2、……个子串。

4、贪婪匹配
正则匹配默认是贪婪匹配,也就是匹配尽可能多的字符,匹配出数字后面的0

>>> re.match(r'^(\d+)(0*)$','102300').groups()
('102300', '')

\d+匹配1到多个数字,由于正则匹配默认是贪婪匹配,所以会把102300的所有数字都匹配完,而0*,匹配0到多个0就只能
匹配空字符串。

要想让\d+采用非贪婪匹配,加个?就可以了

>>> re.match(r'^(\d+?)(0*)$','102300').groups()
('1023', '00')
>>>

5、编译:
如果一个正则表达式要重复使用几千次,出于效率的考虑,我们可以预编译该正则表达式,接下来重复使用时就不需要编译这个步骤了,直接匹配:

>>> import re
#编译
>>> re_telephone = re.complie(r'^(\d{3})-(\d{3,8})$')
#使用
>>> re_telephone.match('010-12345').groups()
('010', '12345')
>>> re_telephone.match('010-8086').groups()
('010', '8086')

编译后生成Regular Expression对象,由于该对象自己包含了正则表达式,所以调用对应的方法时不用给出正则字符串。

正则表达式非常强大,一时半会肯定掌握不了,要多练,可备本正则表达式的参考书。

四、练习:

请尝试写一个验证Email地址的正则表达式。版本一应该可以验证出类似的Email:
someone@gmail.com
bill.gates@microsoft.com

import re

def is_valid_email(addr):
    if re.match(r'^[a-z0-9]+\.?[a-z0-9]+\@[a-z]+\.com',addr):
        return True
    else:
        return False

# 测试:
assert is_valid_email('someone@gmail.com')
assert is_valid_email('bill.gates@microsoft.com')
assert is_valid_email('112620581@qq.com')
assert not is_valid_email('bob#example.com')
assert not is_valid_email('mr-bob@example.com')
print('ok')

版本二可以提取出带名字的Email地址:

<Tom Paris> tom@voyager.org => Tom Paris
bob@example.com => bob

def name_of_email(addr):
    m = re.match(r'<?([a-z\sA-Z]+)>?\s?([a-z]*\@[a-z]+\.[a-z]{3})',addr)
    return m.group(1)

# 测试:
assert name_of_email('<Tom Paris> tom@voyager.org') == 'Tom Paris'
assert name_of_email('tom@voyager.org') == 'tom'
print('ok')

答案有很多,这不是最简的。前面的进程和线程有点难消化,需要缓缓...最后附上一首歌,说谎,网易云终于有林宥嘉的版权了,可以删掉其他播放器了...

上一篇下一篇

猜你喜欢

热点阅读