##[唯品会]Apache Kylin在唯品会大数据的应用
2017-09-27 本文已影响63人
葡萄喃喃呓语
Apache Kylin在唯品会大数据的应用搜狐科技搜狐网
http://www.sohu.com/a/123794954_470008
在2015年 唯品会的数据分析碰到了以下两个瓶颈：第一是数据准备的流程长，第二是缺少合适数据提取和分析工具。
总结下来，在唯品会这样规模的公司里，数据分析有两个痛点：
1.需要一个可以自由组合的维度和指标的平台，业务人员可以根据自己的视角自给自足的完成数据提取和分析；
2.这个平台，不仅数据要够丰富，即使大数据量响应速度也要快。
针对这两个痛点，本着“让大数据成为唯品会的增长引擎”这个目标，我们大数据部门的提供了一套完整的解决方案：自助多维分析平台。我们通过有较高可扩展性的维度建模准备数据，在此之上搭建一套数据查询引擎，并配上操作简单的数据可视化前端，为业务人员搭了数据分析的台子。随着大家数据分析技能的提升，人人都是数据分析师的这个理念就逐渐在公司内部扩展开来了。
image.png
唯品会如何使用Kylin
数据和前端是皮和肉，需要通过好的数据引擎才能支撑起来。在数据引擎角度，我们通过一段时间的积累和演进，从基于Presto的ROLAP模型进化到了基于Kylin和Presto的双计算引擎。往超大数据集也要快速ad-hoc响应的方向走近了一步。
