Go从单机爬虫到分布式爬虫

正则表达式

2018-05-27  本文已影响0人  __apple

现在网页的源代码我们都已经拿到了,但是我们要怎么解析它获取有价值的信息呢?

这里为什么要选择正则表达式呢?因为它的通用性要好一点,比如说我们要验证用户的输入都可以用到正则表达式。。。。。
我们新建一个文件夹,专门用来学习正则

stevendeAir:regex steven$ ls
regex.go
stevendeAir:regex steven$ pwd
/Users/steven/learngo/src/learn/regex
stevendeAir:regex steven$ 
package main

import (
    "regexp"
    "fmt"
)

const text = "My email is 1991585851@qq.com"

func main() {
    // 找出我们的email地址
    re := regexp.MustCompile("1991585851@qq.com")
    match := re.FindString(text)
    fmt.Println(match) //1991585851@qq.com
}

这样做的通用性简直为零那么我们要怎么做呢?,我们应该可以很清楚的发现email的特点带个@符号,具体看代码

package main

import (
    "fmt"
    "regexp"
)

const text = "My email is 1991585851@qq.com"

func main() {
    // 找出我们的email地址
    // . 的意思就是就是匹配一个字符 + 一个或者多个
    re := regexp.MustCompile(`[a-zA-Z0-9]+@.+\.com`)
    match := re.FindString(text)
    fmt.Println(match) //1991585851@qq.com
}

这样的话通用性就好一点了,但是如果在@的后面的再有这一个@它一样可以匹配出来,所以我们还得简单的改改

re := regexp.MustCompile(`[a-zA-Z0-9]+@[a-zA-Z0-9]+\.[a-zA-Z0-9]+`)

那么如果我们有很多的换行的email地址呢?比如说

const text = `
My email is 1991585851@qq.com
email is 1991585852@qq.com
email is 1991585853@qq.com.cn
`

这个时候我们就不能FindString了

func main() {
    // 找出我们的email地址
    // . 的意思就是就是匹配一个字符 + 一个或者多个
    re := regexp.MustCompile(`[a-zA-Z0-9]+@[a-zA-Z0-9]+\.[a-zA-Z0-9]+`)
    // -1 代表所有的
    match := re.FindAllString(text, -1)
    fmt.Println(match) // [1991585851@qq.com 1991585852@qq.com 1991585853@qq.com.cn]
}

如果我们想把@前面的名称提取出来我们应该怎么做呢?

func main() {
    // 找出我们的email地址
    // . 的意思就是就是匹配一个字符 + 一个或者多个
    re := regexp.MustCompile(`([a-zA-Z0-9]+)@([a-zA-Z0-9]+)(\.[a-zA-Z0-9.]+)`)
    // -1 代表所有的
    match := re.FindAllStringSubmatch(text, -1)
    for _, m := range match {
        fmt.Println(m)
    }
    //fmt.Println(match) // [1991585851@qq.com 1991585852@qq.com 1991585853@qq.com]
}

Result:

[1991585851@qq.com 1991585851 qq .com]
[1991585852@qq.com 1991585852 qq .com]
[1991585853@qq.com.cn 1991585853 qq .com.cn]

ok,这样的话我们就简单的介绍一下正则表达式的用法,更多的细节我们在后边的实战中,详细解读。。。。。。

上一篇 下一篇

猜你喜欢

热点阅读