Uber 架构(1)
此本部会更新内容,并不是最终版本
uber-taxi-for-web.jpg
uber是一家美国硅谷的科技公司。Uber在2009年,由加利福尼亚大学洛杉矶分校辍学生特拉维斯·卡兰尼克和好友加勒特·坎普(Garrett Camp)创立。因旗下同名打车APP而名声大噪。Uber目前已经进入中国大陆的60余座城市,并在全球范围内覆盖了70多个国家的400余座城市
Uber 的分享
参考硅谷之路
知乎
wiki
Uber 架构师 Ranny,重构了 Uber 的框架。
ranny.jpeg
Uber 主要使用两种语言javascript和python,其中 javascript 助我一臂之力进入编程行业。而且也是我个人无论在工作和业余时间接触最多的一门语言,所以我对于 javascript 有着特殊的感情。现在 javascript 已经成为了跨平台的首选语言,浏览器端的汇编语言。
-
tchannel
Ranny 说 Uber 已经从 HTTP+JSON 迁移到基于 TChannel 的 Thrift,TChannel 在 Node.js 中比 HTTP 快 20 倍。基于 RPC 进行服务间函数调用。并且屏蔽掉不同的语言的差异。 -
ringpop
Ringpop是为了服务Uber不断扩大的用户量而产生的一个分布式架构,它能自动检测和恢复单点失败,并且实现负载均衡。一致性哈希(con.sistenthashing):将节点映射到哈希环上,给节点分配任务,实现负载均衡。 -
google s2
Google 的 S2 基于地理的图数据库,按四边形对地图进行切分。S2 能够将球体分为小区 cell,每个小区有一个 id,地球大致是一个球形。S2 有两个重要特性:能够定义每个cell的分辨率,它能发现需要覆盖区域的cell。
通过阅读和整理资料今天给大家分享一下 Uber 的架构
幻灯片1.JPG一切从简单开始,简化一些 uber 服务就是将司机派遣给乘客。前面是手机,中间是 PHP 负责业务逻辑后面是MySQL 数据。每 4 秒上传数据更新自己位置,来寻找客服进行匹配来支撑 uber 快速。不过要对应 Uber 业务极速的增长。
f112af399e1dfcb211b0b466f8615009.jpg为了应对蜂拥而来增长
uber 将 PHP 变成多进程和多线程,同时访问数据,多个线程同查数据库,返给用户。
幻灯片2.JPG highway-wallpaper.jpeg
- 一个司机两个顾客:因为每个 php 都是独立访问数据库, 如果锁的机制没有做好,一个司机被两个 PHP 进程同时搜索数据库将司机派遣给两个乘客。
- 两个司机一辆车 他们用两个 app,而这个时候如果只能派遣一次就出问题了
-
一个账号两辆车 两个司机同乘一辆车,一个用户两辆车同时登录一个账号,用户位置不断漂移。
0005018360041553_b.jpg
uber 如何应对挑战
hero2.jpg 幻灯片3.JPG具体化一下,派遣服务后面 MySql 数据库, 用户可通过移动设备连接到派遣服务。
首先可以把一些影响派遣服务的逻辑拿出来,例如商业逻辑,用户绑定手机号,收付款这些业务,商业逻辑直接走 Python API 来调用,从而减轻派遣服务压力。
进一步加一个消息队列,可以抵挡大量的请求。消息队列抵挡压力,同时将日志和位置存在mangoDB 中。这样分出几层,大家还可以在各个层级如果出现问题就可以重试。
消息怎么处理 需要消息管理获得请求就处理消息。
热升级代码 hot push code 升级 request Manager 。不关掉服务,以前处理掉一半的消息怎么办。
幻灯片5.JPG
谈到改进,改进影响 的商业逻辑绑定手机号,Python API 派遣服务
在这个基础将派遣服务变为 nodejs 地理位置将派遣数据库变为 mangodb 。javascript 越来越全面。 不但可以写前端也能写服务。我也受益 JavaScript 才进去这一行。
消息如何处理
require("request-manager")
this.requestManager = new RequestManager()
request.addListener('end',function(){
var connection = self.requestManager.createContext({
request:request,
requestBody:requestBody,
response:response
});
if(connection){
self.processMessage(connection)
}
});
幻灯片6.JPG
将许多数据放入内存提高查询速度
避免单点失败,最好是有几个 slave 进行热备。
按区域进行拆分几个区域。每个区域负责自己的服务。而且进行单线程处理,回避各种问题。
幻灯片7.JPG 幻灯片8.JPG th (2).jpg
最后潜在的风险,雪崩现象 由于一些银行的返回有时候很难。请求超时并且后面不断重试,最后消息队列底部,这时候即使我们重新启动服务由于堆积的消息依旧会吧刚刚启动服务压垮。
crash.jpg
所以也需要快速机制来实现快速失败来避免雪崩想象。
避免单点失败
服务器如何热备
require("slave-master")
var severList = [{
id:1,
host:'localhost',
path:'/',
host:8000,
rmPort:8001,
smPort:8002
}]
this.slaveMaster = new SlaveMaster(serverID, serverList);
this.slaveMaster.onBecomingMaster = function(){
//load dat from Mango
}
MongoDB 如何访问?
可以 mangodb 数据库的访问包裹一层。记录重试次数,配置这样大家同一调用
require("mango-wrapper")
this.mango = new MangoWrapper({
replicaSet:settings.mango.replicaSet,
daabaseName:'testDB',
retryList:settings.mango.retryList,
retryInterval:settings.mango.retryInterval,
backupDir:settings.mango.backupDir,
downDir:settings.mango.downDir,
restoreInterval:settings.mango.restoreInterval
});
this.mango.insert('gpsLogs',gpsLog)