分布式爬虫

39、Python快速开发分布式搜索引擎Scrapy精讲—ela

2019-03-23  本文已影响16人  攻城狮笔记

百度云搜索,搜各种资料:http://www.81ad.cn

elasticsearch的基本概念

  1、集群:一个或者多个节点组织在一起

  2、节点:一个节点是集群中的一个服务器,由一个名字来标识,默认是一个随机的漫微角色的名字

  3、分片:将索引(相当于数据库)划分为多份的能力,允许水平分割和扩展,对个分片响应请求,提供性能和吞吐量

  3、副本:创建分片的一份或者多份的能力(相当于备份),在一个节点失败其余节点可以顶上

elasticsearch的数据存储概念

  1、index(索引,可以理解为数据库)

  2、type(类型,可以理解为数据库表)

  3、documents(文档,可以理解为数据库表的行)

  4、fields(可以理解为数据库表的列)

image

http方法

GET 请求指定的页面信息,并且返回实体主体

POST 向指定资源提交数据进行处理请求,数据被包含在请求体中,POST请求可能会导致新的资源的建立和/或已有资源的修改

PUT 向服务器传送的数据取代指定的文档的内容

DELETE 请求服务器删除指定的页面

image
上一篇下一篇

猜你喜欢

热点阅读