日课012|离线处理
2018-03-27 本文已影响0人
青蛙杨
今天在党支部会议上介绍中心业务,于是现学现卖了一些对外大数据应用,其中有一块讲到实时竞价。由于我们公司的产品周期比较长,一般用不着实时竞价系统,所以会更多地在对外合作中使用。
在自有产品的精准营销,包括用户画像上,我们更多的还是使用离线处理的方法。由于实时性要求不高,所以离线处理倒也跟得上节奏。当然,离线处理也不是一无是处,离线处理可以进行复杂运算,这样得到的结论通常会更精准一些。
叽里呱啦说了这么一堆,不是为了说明我们公司有点数据能力,而是想谈一下离线处理的实现原理。
离线处理的核心思路是,把该算的提前算好,用的时候直接调用结果。
什么意思呢?我们假定有一个最简单的场景,每天食堂都有A套餐和B套餐,你有选择困难症,不知道选哪个,于是设计了一套算法,日期是奇数则选A,日期是偶数则选B。这个算法就是离线处理过程,每天的日期是奇数还是偶数就是离线处理结果。等到真去了食堂,调用一下处理结果(看一下日期),就知道是选择A套餐还是B套餐了。
现实生活中肯定不会这么简单,非A即B的选项几乎不存在。这就更考验我们离线处理的能力了,比如起床时天晴而且地上不湿,那么不带雨伞坐公交;如果起床时天晴但地上是湿的,那么带好雨伞坐公交;如果起床时下雨,那么开车出门……
在大多数情况下,我们的离线处理做得越完备,临场发挥就能越淡定,因为对应每一种情况,都已经留好后手了。后续要做的只是不断迭代优化这个离线处理过程,以便日后调用时获取更好的结果。
ps.最近在读达利欧写的《原则》,可以说原则就是离线处理的算法吧。