大规模服务的长尾问题

背景

最近几天看到loki的2.5看到一个特性

image.png

这个特性的原因来自2013年的一篇文章The Tail at Scale

对冲请求(Hedged requests)简单介绍

发出第一个请求后,如果在一定时间内没收到响应则发出第二个请求,如果第一个收到后则取消第二个请求

文章中解决方案

服务分类和优先级队列(Differentiating service classes and higher-level queuing)

减少队头阻塞(Reducing head-of-line blocking)

管理后台活动和同步中断(Managing background activities and synchronized disruption)

对冲请求(Hedged requests)

捆绑请求(Tied requests)

微分区(Micro-partition)

选择性的复制(Selective replication)

临时剔除高延时的副本(Latency-induced probation)

足够好(就是允许降级)

灰度请求