我爱编程

Ubuntu安装配置Nutch2.3.1+Solr4.10.3+

2017-04-20  本文已影响0人  leonaxiong

一、java安装与环境变量设置

1. 源码包准备

首先到官网下载jdk，http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html，我下载的是 jdk-8u121-linux-x64.tar.gz
注意判断自己的虚拟机是32位or64位，以免做无用功。

2. 解压源码包

通过终端在/usr/local目录下新建jdk文件夹，
mkdir /usr/local/jdk
然后将下载到压缩包拷贝到java文件夹中，
cp jdk-8u25-linux-x64.tar.gz /usr/local/jdk
然后进入java目录，
cd /usr/local/jdk
解压压缩包，
tar xvf jdk-8u25-linux-x64.tar.gz
然后可以把压缩包删除，
rm jdk-8u25-linux-x64.tar.gz

3. 设置jdk环境变量

这里采用全局设置方法，它是是所有用户的共用的环境变量
gedit ~/.bashrc 打开之后在末尾添加

export JAVA_HOME=/usr/local/jdk/jdk1.8.0_121
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH

source ~/.bashrc使设置生效

4. 检验是否安装成功

在终端输入如下命令
java -version
看看是否安装成功

二、hbase安装与配置

1. 源码包准备：

首先到官网下载 http://archive.apache.org/dist/hbase/hbase-0.98.8/hbase-0.98.8-hadoop2-bin.tar.gz，我下载的是 hbase-0.98.8-hadoop2-bin.tar.gz

2. 解压源码包

tar -zxf hbase-0.98.8-hadoop2-bin.tar.gz

3. 设置hbase环境变量

gedit /etc/profile 打开之后在文件末尾添加

    export HBASE_HOME=/home/leo//weblab/hbase-0.98-8-hadoop2
    export PATH=$PATH:$HBASE_HOME/bin

保存修改之后
source /etc/profile
使得设置生效
配置完环境变量后可输入命令hbase version来验证hbase是否安装成功

4. 配置hbase-site.xml文件

gedit conf/hbase-site.xml
打开文件之后在<congiguration></configuration>之间添加

<property>
     <name>hbase:rootdir</name>
     <value>file://home/leo/weblab/hbase-0.98.8-hadoop2/data/hbase</value>
</property>
<property>
     <name>hbase.zookeeper.property.dataDir</name>
     <value>/home/leo//weblab/hbase-0.98.8-hadoop2/data/zookeeper</value>
</property>
5. 启动hbase
cd /weblab/hbase-0.98-8-hadoop2/bin
./start-hbase.sh

三、Nutch安装与配置

1. 下载、解压源码包

tar -zxf apache-nutch-2.3.1-src.tar.gz

2. 进入Nutch 目录，修改/ivy文件夹中的ivy.xml文件

gedit ivy/ivy.xml，将以下内容的注释取消（将包含此代码段开头消除即可）

<dependency org="apache.org.gora" name="gora.hbase" rev=0.6.1 conf="*->default"/>

这是将Nutch的默认的结果存储方式变更为Hbase，并添加以下代码确保nutch包含hbase相关的jar包

<dependency org="org.apache.hbase" name="hbase-common“ rev="0.98.8-hadoop2" conf="*->default" />
3. 修改/conf文件夹中的nutch-site.xml文件

gedit conf/nutch-site.xml在<configuration></configuration>标签中添加以下设置

<property>  
          <name>storage.data.store.class</name>  
          <value>org.apache.gora.hbase.store.HBaseStore</value>  
          <description>Default class for storing data</description>  
</property>  
<property>  
          <name>http.agent.name</name>  
          <value>My Nutch Spider</value>  
</property>  
<property>
<name>plugin.includes</name>
<value>protocol-httpclient|urlfilter-regex|index-(basic|more)|query-(basic|site|url|lang)|indexer-solr|nutch-extensionpoints|protocol-httpclient|urlfilter-regex|parse-(text|html|msexcel|msword|mspowerpoint|pdf)|summary-basic|scoring-opic|urlnormalizer-(pass|regex|basic)protocol-http|urlfilter-regex|parse-(html|tika|metatags)|index-(basic|anchor|more|metadata)</value>
</property>

这三个property分别指的是Nutch的默认存储类型，爬虫的名字，和插件库的位置，如果错误中出现job-XXXXX的情况，那就是没有配置好插件库property

4. 修改/conf文件夹中的regex-urlfilter.txt文件

gedit conf/regex-urlfilter.txt 将最后部分修改为

 # accept anything else
  #+.
  +^http://([a-z0-9]*\.)*nutch.apache.org/

这里写的是抓取过滤的正则表达式，表示除了抓取这个url指向的页面，其他页面不抓取，可按照自己的需求更改。

nutch的正则过滤时，采用的匹配函数式Patterm.matcher，而不是Patterm.matches。
Patterm.mather在匹配时，只要找到待爬取网页的url的子串和正则匹配，就通过。
Patterm.matcher要求待爬取网页的url和regex完全匹配。例如:
    待爬取网页的网址是  http://www.xinhuanet.com/index.html
    正则是^http://([a-z0-9]*\.)*xinhuanet.com
这个正则用Patterm.matcher和网页url可以匹配。因为网页url的字串http://www.xinhuanet.com和正则能匹配。
但是用Patterm.matches就不能匹配。正则需要改成^http://([a-z0-9]*\.)*xinhuanet.com.*才可以和网页的URL匹配。
也就是说nutch的正则其实是和找url中是否有字串符合正则。所以做nutch的正则配置文件时，要在http前加入^符号，如果正则没有加^符号，
例如+http://www.xinhuanet.com ,下面网址也是可以匹配的:
http://www.abc.com/index.[PHP](http://lib.csdn.net/base/php)?name=http://www.xinhuanet.com
5. 修改/conf文件夹中的gora.properties文件，添加以下配置，确保存储在Hbase上
 gora.datastore.default=org.apache.gora.hbase.store.HBaseStore
6.在Nuctch目录下，开始ant编译

ant runtime 第一次编译因为要从maven网站下载文件，时间耗费较长，而且可能出现部分jar包不能下载的情况，要修改ivy/ivysettings.xml文件

<property name="repository.apache.org" value="http://maven.restlet.org/" override="false"/>

可能出现的情况

NUTCH You probably access the destination server through a proxy server that is not well configured

没别的意思，网不好，PING一下外网试试

[ivy:resolve] :: loading settings :: file = /home/appmon/release-2.2.1/ivy/ivysettings.xml

停在这里不表示出错，而是在联网监测，可能要好几分钟，耐心等待
编译完成后，在Nutch目录下会生成一个runtime文件夹

7. 在Nutch目录下，在/runtime/local文件下创建url文件夹，并在该文件夹下创建`seed.txt
mkdir url
cd url
touch seed.txt

在其中输入你要抓取页面的url

http://nutch.apache.org/

四、Solr安装与配置

1.下载、解压源码包

http://archive.apache.org/dist/lucene/solr/4.10.3
根据前人无数次的尝试，发现还是4.10.3版本能与以上版本的软件很好兼容，如果想验证下兼容性，可以试试其他版本。。。
tar -zxf solr-4.10.3.tgz

2.进入example子目录下运行

cd solr-4.10.3/example/
java –jar start.jar

3.结合Nutch

复制nutch/runtime/local/conf目录下的schema.xml到solr/example/solr/collection1/conf目录下，替换solr原来的文件
重启solr Ctrl+C

五、开始使用

1.进入Hbase安装目录的/bin/子目录下，启动HBase:

./start-hbase.sh

2.进入Solr安装目录的/example/子目录下，启动Solr:

java -jar start.jar

3.进入Nutch安装目录的/runtime/local/子目录下，启动Nutch:

./bin/crawl ./url/seed.txt mycrawl http://localhost:8983/solr 2
参数理解：
seed.txt 之前创建的url种子文件夹，是爬取网页的起点，mycrawl 爬虫ID，http://localhost:8983/solr 在浏览器中打开Solr页面，‘2’ 爬取深度

4.可能出现的情况

Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/hadoop/conf/configuration

缺少java包
把hbase目录下/lib/里有关hbase的jar文件复制到Nutch目录下/runtime/local/lib/里，这里可能存在操作权限的问题，可用chmod 777命令修改权限。
SolrIndexerJob: java.lang.RuntimeException: job failed:
这里可能是找不到插件的原因，编辑nutch/runtime/conf/目录下的nutch-site.xml文件，加上 
<property>
      <name>plugin.folders</name>
     <value>plugins</value>
 </property>
上一篇下一篇

猜你喜欢

热点阅读