php基础教程我爱编程

php实战开发网络爬虫,实现采集功能

2017-10-03  本文已影响77人  寻梦xunm

网络爬虫简介

按照一定的规则自动抓取网上的内容。

php获取指定网页内容

file_get_contents函数

语法:

file_get_contents(要获取的资源地址)

获取网页内容的例子:

代码:

echo file_get_contents("http://www.phpfen.com");

获取https类型的网页内容

尝试获取:https://www.noxue.com 的内容

echo file_get_contents("https://www.noxue.com");

默认报错信息如下:

Warning: file_get_contents(): Unable to find the wrapper "https" - did you forget to enable it when you configured PHP? in F:\projects\php\test\index.php on line 3

Warning: file_get_contents(https://www.noxue.com): failed to open stream: No such file or directory in F:\projects\php\test\index.php on line 3

报错原因

https数据需要通过ssl协议加密传输,php默认没有开启ssl扩展,所以要开启ssl扩展。

如何开启ssl扩展

找到和phpfen.exe同目录下的php目录,然后找到php目录下的php.ini,在文件中找到这行;extension=php_openssl.dll,把前面的分号去掉,改成extension=./ext/php_openssl.dll。最后重新启动phpfen.exe

修改之前:

修改之后:

./ext/php_openssl.dll 是指定php扩展的路径,php_openssl.dll提供ssl加密解密相关的功能,在windows下php扩展是一个dll文件,在ext目录下。

file_put_contents函数

作用

file_put_contents() 函数把一个字符串写入文件中。

语法

file_put_contents(file,data,mode,context)

参数介绍

参数 描述

file 必需。规定要写入数据的文件。如果文件不存在,则创建一个新文件。

data 可选。规定要写入文件的数据。可以是字符串、数组或数据流。

mode 可选,规定如何打开/写入文件。可能的值:1.FILE_USE_INCLUDE_PATH:检查 filename 副本的内置路径。2.FILE_APPEND:在文件末尾以追加的方式写入数据。3.LOCK_EX:对文件上锁

context 可选。规定文件句柄的环境。context 是一套可以修改流的行为的选项。若使用 null,则忽略。

例子

echo file_put_contents("noxue.txt","www.noxue.com");

输出:13 也就是写入文件的字符个数。

默认这个函数会清空文件原来的内容,然后写入新的内容,如果要追加的话,把第三个参数设定为FILE_APPEND即可。

FILE_USE_INCLUDE_PATH 这个参数,表示文件会从include_path中寻找,可以通过echo get_include_path();查看include_path包含哪些路径。

正则表达式入门

元字符

表1.常用的元字符

代码 说明

. 匹配除换行符以外的任意字符

\w 匹配字母或数字或下划线或汉字

\s 匹配任意的空白符

\d 匹配数字

\b 匹配单词的开始或结束

^ 匹配字符串的开始

$ 匹配字符串的结束

字符转义

如果你想查找元字符本身的话,比如你查找.,或者*,就出现了问题:你没办法指定它们,因为它们会被解释成别的意思。这时你就得使用\来取消这些字符的特殊意义。因此,你应该使用\.和\*。当然,要查找\本身,你也得用\\

重复

表2.常用的限定符

代码/语法 说明

* 重复零次或更多次

+ 重复一次或更多次

? 重复零次或一次

{n} 重复n次

{n,} 重复n次或更多次

{n,m} 重复n到m次

反义

有时需要查找不属于某个能简单定义的字符类的字符。比如想查找除了数字以外,其它任意字符都行的情况,这时需要用到反义:

表3.常用的反义代码

代码/语法 说明

\W 匹配任意不是字母,数字,下划线,汉字的字符

\S 匹配任意不是空白符的字符

\D 匹配任意非数字的字符

\B 匹配不是单词开头或结束的位置

[^x] 匹配除了x以外的任意字符

[^aeiou] 匹配除了aeiou这几个字母以外的任意字符

例子:\S+匹配不包含空白符的字符串。

分组/注释

语法 说明

(exp) 匹配exp,并捕获文本到自动命名的组里

(?<name>exp) 匹配exp,并捕获文本到名称为name的组里,也可以写成(?'name'exp)

(?#comment) 这种类型的分组不对正则表达式的处理产生任何影响,用于提供注释让人阅读

捕获例子:(\d{5,11}) 捕获文本中的qq号

捕获例子:(?<qq>\d{5,11}) 捕获文本中的qq号,并取名为qq

注释例子:2[0-4]\d(?#200-249)|25[0-5](?#250-255)|[01]?\d\d?(?#0-199)

贪婪与懒惰

当正则表达式中包含能接受重复的限定符时,通常的行为是(在使整个表达式能得到匹配的前提下)匹配尽可能多的字符。以这个表达式为例:a.*b,它将会匹配最长的以a开始,以b结束的字符串。如果用它来搜索aabab的话,它会匹配整个字符串aabab。这被称为贪婪匹配。

有时,我们更需要懒惰匹配,也就是匹配尽可能少的字符。前面给出的限定符都可以被转化为懒惰匹配模式,只要在它后面加上一个问号?。这样.*?就意味着匹配任意数量的重复,但是在能使整个匹配成功的前提下使用最少的重复。现在看看懒惰版的例子吧:

a.*?b匹配最短的,以a开始,以b结束的字符串。如果把它应用于aabab的话,它会匹配aab(第一到第三个字符)和ab(第四到第五个字符)。

由于我们只需要用到正则表达式的部分知识,所以从 https://deerchao.net/tutorials/regex/regex.htm 截取了一些常用的知识。如果要深入,可以课后自己深入学习。

注意:30分钟入门正则那个工具可能是因为不是特意为php写的,有时候结果可能跟你用php执行后的结果不同,建议使用这个工具来测试正则:https://www.noxue.com/tool/regex.html

php使用正则表达式

preg_match

preg_match_all

php正则表达式例子

<?php

$str = "大家好,这是我的qq:30670835";

preg_match('#qq:([\d]+)#',$str,$mat);

print_r($mat);

?>

输出结果:

Array

(

    [0] => qq:30670835

    [1] => 30670835

)

主要看第一个参数

'#qq:([\d]+)#' 参数被#包含,其实用以下任意一个字符都可以。

`~!@#$%^&*-+*/

注意:被某个字符包含的正则中不能出现该字符,比如下方的代码就会报错

preg_match('#qq:#([\d]+)#', $str, $mat);因为正则被#包含,但是正则中包含了#,这种情况下,我们换一个字符包含就可以了,改成preg_match('/qq:#([\d]+)/', $str, $mat);就对了

分析下匹配结果返回的数组

Array

(

    [0] => qq:30670835

    [1] => 30670835

)

第1个元素表示该正则匹配的所有内容。

第2个元素表示第1个捕获的内容

捕获多个内容

<?php

$str = "<table><tr><td>不学网</td><td>www.noxue.com</td></tr></table>";

preg_match('#<td>(.*?)</td><td>(.*?)</td>#',$str,$mat);

print_r($mat);

输出:

Array

(

    [0] => <td>不学网</td><td>www.noxue.com</td>

    [1] => 不学网

    [2] => www.noxue.com

)

分组命名

例子:

<?php

$str = "<table><tr><td>不学网</td><td>www.noxue.com</td></tr></table>";

preg_match('#<td>(?<name>.*?)</td><td>(?<site>.*?)</td>#',$str,$mat);

print_r($mat);

输出:

Array

(

    [0] => <td>不学网</td><td>www.noxue.com</td>

    [name] => 不学网

    [1] => 不学网

    [site] => www.noxue.com

    [2] => www.noxue.com

)

php正则匹配所有

只要把上面代码中函数的preg_match改成preg_match_all即可:

<?php

$str = "大家好,这是我的qq:30670835 大家好,这是我的qq:30670835 ";

preg_match_all('#qq:([\d]+)#',$str,$mat);

print_r($mat);

?>

输出:注意是个二维数组

Array

(

    [0] => Array

        (

            [0] => qq:30670835

            [1] => qq:30670835

        )

    [1] => Array

        (

            [0] => 30670835

            [1] => 30670835

        )

)

php正则 修正符

模式修正符 说明

/u 表示按unicode(utf-8)匹配(主要针对多字节比如汉字)

/i 表示不区分大小写(如果表达式里面有 a, 那么 A 也是匹配对象)

/s 表示将字符串视为单行来匹配

/m 表示匹配多行

/x 将模式中的空白忽略.

例子:

<?php

$str = "<table><tr><TD>不学网</TD><td>www.noxue.com</td></tr></table>";

preg_match('#<td>(?<name>.*?)</td><td>(?<site>.*?)</td>#',$str,$mat);

print_r($mat);

上面的代码将会输出一个空数组,因为默认大小写不同也匹配不到。

但是我们可以通过模式修正符i来忽略大小写,例子如下:

<?php

$str = "<table><tr><TD>不学网</TD><td>www.noxue.com</td></tr></table>";

preg_match('#<td>(?<name>.*?)</td><td>(?<site>.*?)</td>#i',$str,$mat);

print_r($mat);

仅仅在正则表达式最后加上i就行了

以上代码则会匹配到正确的内容。

php实现采集指定内容

php正则与file_get_contents结合来实现

文章来源 不学网

上一篇 下一篇

猜你喜欢

热点阅读