45.集群调优策略—deep Paging 性能优化

45.1 deep Paging 性能优化

• 深度分页性能问题
  • ES中有个配置： index.max_result_window， 默认是10000条数据， 如果分页的数据超过10000， 就拒绝返回结果
• 深度分页的解决方案
  • 方案一：用scroll遍历方式
  • 方案二：search after 方式

45.2 利用scroll遍历方式

• scroll分为初始化和遍历两步， 初始化时将所有符合搜索条件的搜索结果缓存起来，可以理解为快照
  • 在遍历时， 从这个快照中取数据， 也就是说在初始化后，对索引插入、删除、更新数据都不会影响遍历结果
• 初始化
  • 后面跟的两个参数： scroll 代表缓存暂存时间， 其他的和普通search求相同
  • 执行完命令后会返回一个_scroll_id， 用来下次去数据的时候使用

post /student/_search?scroll=1m&size=2
{
  "query":{"match_all":{}}
}

• 遍历查询
  • 这里的scroll_id是scroll初始化的唯一标识， 它可能是上一次遍历取回的_scroll_id或者是初始化返回的_scroll_id， 两个值应该是一样的

get /_search/scroll
{
  "scroll":"1m",
  "scroll_id":"上面初始化时返回的_scroll_id"
}

45.3 search after 方式

45.4 三种分页方式比较

大数据视频推荐：
腾讯课堂
CSDN
AIops智能运维机器学习算法实战
ELK入门精讲
AIOps智能运维实战
ELK7 stack开发运维
大数据语音推荐：
ELK7 stack开发运维
企业级大数据技术应用
大数据机器学习案例之推荐系统
自然语言处理
大数据基础
人工智能：深度学习入门到精通