运营揭秘:淘宝为什么总推荐你买过的东西?
在误入人工智能行业这个深坑前,小编也曾经是个英俊帅气长满头发的淘宝小二,负责各个场景的推荐系统运营。
当时,小编每天一早起来,就收到全国各地淘宝用户的亲切问候,其中一种最为常见:&^#$,为什么淘宝总给我推荐我买过的宝贝,你们的算法工程师是*(Y@($$的吗。
小编当时感觉非常冤枉,因此和不愿意透露姓名的淘宝算法部门的头牌,法号小程的算法工程师进行了深入浅出的交流。以下节选:
1. 任何电商和内容平台都不会主动推荐用户已经消费过的内容,因为这是一种差的体验,也带不来收益,内部一般管这叫做bad case。
bad case就是肉眼看上去就bad的case,是人的直觉。但是大数据有时候是和人的直觉相悖的。
2. 传统的推荐系统能采集到的数据是非常有限的,一般就是通过用户看过、收藏过、购买过的商品/内容来进行推荐的。比如说,你看过iPhone X手机、iPhone X手机壳,最后购买了iPhone X手机。大数据算法会分别根据iPhone X手机和iPhone X手机壳分别去计算你接下来可能购买的商品。
那么iPhone X手机计算出来你接下来可能会购买的是手机壳,手机壳计算出来你可能还会对手机感兴趣。如下图:
这个推算过程在推荐系统中就叫做召回。小程说:“当然实际的召回方式有很多很多种,说了你也听不懂,大概体会一下就行了。”
重复的推荐结果大多都是由于用户看过的商品太多太复杂,相互召回重复导致的。
3. 聪明的运营如读者你,一定会问:为什么是分别对每个商品进行相似召回,而不是把看过的商品作为一个整体序列进行召回呢?
小程说了一些诸如“如果那样的话计算效率太低,没法并行。”“商品组合的样本空间太大,样本覆盖很稀疏,模型训练效果很差。”等小编完全听不懂的术语。小编看在他已经改bug三天三夜没合眼的份上,先放过了他。
4. 聪明的运营如读者你,一定能想到:那很简单啊!只要在产生推荐结果之前,过滤掉已经买到的商品就可以了呀!
是的,小程正是这么做的,但是,如果你在淘宝中搜索iPhone X,会发现:
1、2、3…足足有15页结果….那怎么能把所有的iPhone X过滤啊?如果只过滤掉你买过的那个宝贝,肯定还可能漏进其他店家卖的卖的iPhone X,如果把所有含iPhone X关键词的宝贝都过滤掉,那有可能误杀掉手机壳或者耳机充电线等等应该推荐的商品
实际上,即使强大如淘宝,他的SKU管理体系也是很混乱的,一类商品很可能放在不同的sku甚至类目下,完全的过滤是很困难的。实际上,有很多算法工程师比如小程在专门通过人工添加规则做相关的工作,但是淘宝有几亿个宝贝,一定有漏网之鱼,就是大家看到的重复推荐的宝贝了。
5. 聪明的运营如读者你,一定会问:有没有更好的方法?有没有更智能更聪明的推荐算法啊。
小程说他最近已经提了离职,正准备去北京的一家人工智能公司第四范式,那里有一群聪明而且脑洞比鼻孔还大的人,正在用全新的人工智能算法,开发一种你从来没有见过的全新推荐系统。
最后,是正大光明的广告时间,ladies and gentleman, until next time,this is 先荐。
给我一个关注,我就可以撬开你的脑洞。
先荐-个性化推荐专家先荐-个性化推荐专家