1 扫盲

1.1 网络爬虫

网络爬虫，是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。

1.2 WebMagic

WebMagic是一个简单灵活的Java爬虫框架。基于WebMagic，你可以快速开发出一个高效、易维护的爬虫。

2 环境搭建

2.1 Maven

Maven项目对象模型，可以通过一小段描述信息来管理项目的构建，报告和文档的软件项目管理工具。
上面那句话看不懂的也没关系，暂时知道这次是利用Maven来管理JAR包就行。
当然，如果不使用Maven也可以手动下载WebMagic框架的JAR包。

2.1.1 手动下载JAR包（不推荐）

访问：https://github.com/code4craft/webmagic/releases/tag/webmagic-parent-0.6.1，点击红色箭头链接，进行下载，下载完成后，将JAR包放在lib里面即可。

如果你没有使用过Maven，那么一定不要错过这次入门的机会。

2.1.2 使用Maven管理本地JAR包

首先先访问网址：http://maven.apache.org/download.cgi，二者任选其一下载后解压，将其放到自己平时常用位置后。
例如：/Library/apache-maven-3.3.9
【macOS】
打开终端，键入如下命令：

$ vi ~/.bash_profile

添加下列两行代码，之后保存并退出Vi：

export M2_HOME=/Library/apache-maven-3.3.9
export PATH=$PATH:$M2_HOME/bin

顺便说一下，vi进入插入模式先按i，接着输入上述两行代码，输入完成后，按":wq"回车，即可保存退出。
【Windows】
配置环境变量即可，详情参照http://jingyan.baidu.com/article/1709ad808ad49f4634c4f00d.html

3 项目新建、配置与运行

打开IDEA，新建项目

选择自动引入Maven项目 在pom.xml中插入红框内配置语句 点击右侧Maven Projects列表刷新Maven项目 在src/main/resources目录下新建文件命名为log4j.properties

并向其中写入以下代码。

log4j.rootCategory=INFO, stdout , R   

log4j.appender.stdout=org.apache.log4j.ConsoleAppender   
log4j.appender.stdout.layout=org.apache.log4j.PatternLayout   
log4j.appender.stdout.layout.ConversionPattern=[QC] %p [%t] %C.%M(%L) | %m%n   

log4j.appender.R=org.apache.log4j.DailyRollingFileAppender   
log4j.appender.R.File=D:\\Tomcat 5.5\\logs\\qc.log   
log4j.appender.R.layout=org.apache.log4j.PatternLayout   
1log4j.appender.R.layout.ConversionPattern=%d-[TS] %p %t %c - %m%n   

log4j.logger.com.neusoft=DEBUG   
log4j.logger.com.opensymphony.oscache=ERROR   
log4j.logger.net.sf.navigator=ERROR   
log4j.logger.org.apache.commons=ERROR   
log4j.logger.org.apache.struts=WARN   
log4j.logger.org.displaytag=ERROR   
log4j.logger.org.springframework=DEBUG   
log4j.logger.com.ibatis.db=WARN   
log4j.logger.org.apache.velocity=FATAL   

log4j.logger.com.canoo.webtest=WARN   

log4j.logger.org.hibernate.ps.PreparedStatementCache=WARN   
log4j.logger.org.hibernate=DEBUG   
log4j.logger.org.logicalcobwebs=WARN  

log4j.rootCategory=INFO, stdout , R

log4j.appender.stdout=org.apache.log4j.ConsoleAppender
log4j.appender.stdout.layout=org.apache.log4j.PatternLayout
log4j.appender.stdout.layout.ConversionPattern=[QC] %p [%t] %C.%M(%L) | %m%n

log4j.appender.R=org.apache.log4j.DailyRollingFileAppender
log4j.appender.R.File=D:\\Tomcat 5.5\\logs\\qc.log
log4j.appender.R.layout=org.apache.log4j.PatternLayout
1log4j.appender.R.layout.ConversionPattern=%d-[TS] %p %t %c - %m%n

log4j.logger.com.neusoft=DEBUG
log4j.logger.com.opensymphony.oscache=ERROR
log4j.logger.net.sf.navigator=ERROR
log4j.logger.org.apache.commons=ERROR
log4j.logger.org.apache.struts=WARN
log4j.logger.org.displaytag=ERROR
log4j.logger.org.springframework=DEBUG
log4j.logger.com.ibatis.db=WARN
log4j.logger.org.apache.velocity=FATAL

log4j.logger.com.canoo.webtest=WARN

log4j.logger.org.hibernate.ps.PreparedStatementCache=WARN
log4j.logger.org.hibernate=DEBUG
log4j.logger.org.logicalcobwebs=WARN

在src/main/java下新建GithubRepoProcessor.java

插入实例代码。

import us.codecraft.webmagic.Page;
import us.codecraft.webmagic.Site;
import us.codecraft.webmagic.Spider;
import us.codecraft.webmagic.processor.PageProcessor;

public class GithubRepoPageProcessor implements PageProcessor {

    private Site site = Site.me().setRetryTimes(3).setSleepTime(100);

    public void process(Page page) {
        page.addTargetRequests(page.getHtml().links().regex("(https://github\\.com/\\w+/\\w+)").all());
        page.putField("author", page.getUrl().regex("https://github\\.com/(\\w+)/.*").toString());
        page.putField("name", page.getHtml().xpath("//h1[@class='entry-title public']/strong/a/text()").toString());
        if (page.getResultItems().get("name")==null){
            //skip this page
            page.setSkip(true);
        }
        page.putField("readme", page.getHtml().xpath("//div[@id='readme']/tidyText()"));
    }

    public Site getSite() {
        return site;
    }

    public static void main(String[] args) {
        Spider.create(new GithubRepoPageProcessor())
                .addUrl("https://github.com/code4craft")
                .thread(5)
                .run();
    }
}

此时还需要配置最后一处。

下拉列表选择Edit Configurations... 按照图中参数配置 点击运行即可运行你的第一个爬虫

下一篇文章中，我们将利用WebMagic框架来爬取CSDN博客，作为demo进行讲解。