网络爬虫 学(meng)习(bi)经过

2016-12-20  本文已影响0人  I踏雪寻梅

网络爬虫

什么是网络爬虫

larbin学习经过

  • 在这上的学习我是失败的，啊！我似loser。

larbin是啥？

larbin安装经过(我觉得我安装的有问题)

  1. 从官网上获取源码包：larbin.2.6.3
  2. 安装会出现系列错误，不过没事，网上解决方案一大堆
    1. adns文件夹下internal.h文件569-571行：
    adns_status adns__parse_domain(adns_state ads, int serv, adns_queryqu,
     vbuf *vb, parsedomain_flags flags,
     const byte *dgram, int dglen, int *cbyte_io, int max);
改为
adns_status adns__parse_domain(adns_state ads, int serv, adns_query qu,
     vbuf *vb, adns_queryflags flags,
     const byte *dgram, int dglen, int *cbyte_io, int max);
    1. 输入sudo ./congure 出现错误
    make[2]: 正在进入目录 `/home/byd/test/larbin-2.6.3/src/utils'
makedepend -f- -I.. -Y *.cc 2> /dev/null > .depend
make[2]: *** [dep-in] 错误 127
make[2]:正在离开目录 `/home/byd/test/larbin-2.6.3/src/utils'
make[2]: 正在进入目录 `/home/byd/test/larbin-2.6.3/src/interf'
<span style="color: #ff0000;"><strong>makedepend</strong></span> -f- -I.. -Y *.cc 2> /dev/null > .depend
make[2]: *** [dep-in] 错误 127
make[2]:正在离开目录 `/home/byd/test/larbin-2.6.3/src/interf'
make[2]: 正在进入目录 `/home/byd/test/larbin-2.6.3/src/fetch'
makedepend -f- -I.. -Y *.cc 2> /dev/null > .depend
make[2]: *** [dep-in] 错误 127
make[2]:正在离开目录 `/home/byd/test/larbin-2.6.3/src/fetch'
make[1]: *** [dep] 错误 2
make[1]:正在离开目录 `/home/byd/test/larbin-2.6.3/src'
make: *** [dep] 错误 2
    • 上边提示makedepend有问题，于是输入makedepend，提示makedepend 没安装，但是可以通过
    sudo apt-get install xutils-dev
    1. 到/usr/include/c++/下CP一份iostream文件到larbin的src目录下。并将其名改为iostream.h，在文件中添加一句
    using namespace std;
    然后，继续 
    make
    (复制粘贴真爽)
  3. 其中各种文件的配置注释可见链接
    link

  4. 这时候，进入亲爱的larbin目录下运行./larbin进入亲爱的浏览器界面输入localhost：8081
    所示如下......


    Paste_Image.png
  5. 我信心满满的开始继续搞事情。然后.......

    • 说好的，larbin.conf查看端口


      Paste_Image.png

    • 在终端下输入telnet localhost 1976然后......大牛告诉我应该是这样的


      Paste_Image.png

      我的是这样的


      Paste_Image.png
    • 我信心满满的告诉自己，洒洒水啦，简单so easy啦。我的世界观开始从此崩塌。
    • 我去问了度娘，好像有几百种+答案，这时候我恨不得搞个爬虫来爬我想要的搜索结果。在我的爆肝总结下，有几种最有可能：
      1. 端口被占用
      2. telnet没有配置好
      3. telnet会造成系列不祥的后果
      4. 就是不给用，咋地。
      5. 省略+++条
  6. 经历了漫长的整改过程，期间我下了n多的安装包，配置了n多的文件，终于！在一个星期后！
    • 我
    • 的
    • 虚
    • 拟
    • 机
    • 被
    • 玩
    • 炸
    • 了
    • ！
    • ！
    • ！
    • 记得那一天，上天，安排你，来到我身边，说好的陪我，在开发的道路上，走向永远.......我的项目！！！！，我用中华文化上下五千年历史沧桑久经风雨的博大精深的语言也表达不了我心里那......还我虚拟机！！！！，你要是在我做系统网络项目之前告诉我会在中途把我的虚拟机嘿嘿嘿搞坏掉。对不起.......我做好了吃国家饭的准备。可是，是我自己折腾坏的。我咋就管不住我这双手呢！......
  7. 你以为我把虚拟机搞坏了什么数据都没备份一切都要从头再来我就会放弃？哼哼，那你也把我看得太简单了。

scrapy学习经过

scrapy安装之路

  1. 查看系统是否自带安装scrapy的所需库等
    • 在终端下输入python，ubuntu一般都会自带python，但是16.04迷你版并没有自带，所以请自行安装，并且我也不知道怎么安装。
    • 接着输入import lxml

    • 再输入import OpenSSL


      Paste_Image.png
    • 没有报错，说明系统已经自带，不需要操心。
  2. 输入以下指令
    • sudo apt-get install python-dev
    • sudo apt-get install libevent-dev
    • sudo apt-get install python-pip
      • pip用来安装scrapy66的。
    • sudo pip install Scrapy

    • scrapy 出现以下界面


      Paste_Image.png

scrapy应用之路

总结

上一篇下一篇

猜你喜欢

热点阅读