购物中心零售大数据平台的从0到1我是怎么做的
购物中心零售大数据平台系统是我职业生涯中第一个从0到1由我负责产品设计并跟进落地执行的项目，这是公司最初定位为购物中心做大数据解决方案供提供商方向的第一个项目，我从理解老板的idea方案构想到市场调研、客户需求分析、定义需求、产品设计、项目开发跟进、测试到最后的产品上线验收，整个流程都参与并负责跟进，在这个过程中也遇到不少问题和挑战，从这段经历中，让我又成长不少，学习到了更多的东西。此文，算是对自己的一个总结，也是一个复盘的过程。
背景简介
17年6月，我来到了现在的公司，一家零售大数据的初创公司，在这里开始了这个项目。刚到公司时，创始人凭借着对购物中心的数字化经营，新零售的理解，通过我们的方案构想和大数据的经验、技术背景已经成单了一个客户，行业内的TOP客户，希望把此项目做成一个行业标杆，为后续开拓市场奠定基础。不过很尴尬，我没做过之前的工作没有相关经验，没做过大数据系统，对购物中心、商业地产零售行业也不了解，也没有独立负责过产品，到了公司说要我来负责这么一个项目的产品工作，我真的是诚惶诚恐，压力巨大，不过当时的我需要积累产品经验，我克服自己的恐惧，说服自己，相信自己能搞定。当时公司的人员配置是CEO、CTO、一个销售以及一个产品——我，总共四个人(后有人员更替)，进行着三个项目：一个手持移动终端支付收银项目和一个会员商城系统和零售大数据系统项目，不过好在刚到公司，并未立即开始大数据项目，而是做了一个优惠券，是会员商城中的一个模块，这让我对购物中心的IT系统有了一些了解，到了七月中旬开始大数据项目。
产品定位
项目开始前大约一年，马云率先提出新零售，自从新零售概念提出来之后，大家都热议新零售，新零售是什么，怎么做新零售，从新零售概念的提出到现在，互联网巨头也正在布局新零售，抢占线下流量入口，新的零售业态物种不断出现，传统零售也倍感焦虑，纷纷探索如何转型升级。对于新零售，不同的人有不同的理解，在我们看来新零售是技术加持下效率的提升和更好的零售客户体验，要实现这一目标，零售场景的全面数字化是必不可少的环节，数字化必然带来对数据的分析和应用。在一二线城市购物中心、百货商场等大型商业体，是商品和服务消费的场所，更是线下零售的流量入口，经过多年的发展，IT系统已比较健全，数据也有一定的积累，但是数据存放在各孤立的IT系统中，出现数据孤岛现象，难以整合利用，为此我们看到这是个机会，希望从购物中心、百货商场数据分析应用的角度切入市场，帮助购物中心打通各IT系统数据，建立零售数据平台，通过数据分析和数据价值的挖掘应用来驱动购物中心的经营，让购物中心朝着线下流量平台的方向去运营。
市场调研
全国购物中心现有存量6000家左右，每年以400家左右速度增加，到2025年 将超过10000家，购物中心平均商户保有量200家，90%以上购物中心是商户各自收银，场内80%以上商户收租是抽成比高模式或是纯抽租模式。经过多年的发展，竞争日趋激烈，随着算机互联网等技术的应用，现已进入精细化运营阶段，一二线城市的购物中心大多配备了数据分析团队，数据的价值正在彰显，购物中心在数据和精细化运营上的人员投入和IT系统投入正越来越高，未来市场潜力巨大。
竞品调研
在产品调研开始之前boss给我们简单培训了零售商业地产行业的相关业务知识，经营模式、收入来源构成和IT系统构成以及在数据分析和应用上的一些问题，让我对购物中心现状有了基本的了解，此外还有一些BI产品和行业内的一些玩家。拥有的相关文档资料是一个方案，应该说是售前方案或是规划方案，以及boss跟我们描绘的产品idea和畅想蓝图，另外还有一个简易的demo，是售前打单，给客户演示体验用的。我清楚我们的目标及任务，要做一个大数据系统，需要采集并整合购物中心的各IT系统数据，然后再去把数据呈现分析和应用，但产品功能定位是什么，有哪些模块，有哪些功能，未知。我看了很多遍售前方案，去和老板交流，理解方案，理解我们要做一个什么样的产品，数据有那些用，在哪些场景去应用，怎么去用，综合来看，数据可以应用于日常的数据报告、经营决策支持和商场会员营销三个场景，这样我们产品的核心功能是可视化的数据报表分析和大数据会员营销，查了一圈，行业中同时具有这些功能的现成产品没找到，然后我从数据分析、BI、营销三个方向去做了调研，从数据分析角度度看，购物中心的业务系统的基本都会有简单的数据报表，是单方面的数据，想要把多业务系统数据联和起来分析，就得多系统导数，在汇总分析，比较麻烦耗时，且要求分析人员本身比较专业，懂数据分析及分析工具；专业做数据分析的growingio、诸葛io、海致bdp等产品多是面向线上互联网公司的，面向线下数据的分析很少，且需要连接导数到平台，在线自助式、探索式的数据分析，使用起来也有些难度，没有一套成体系的方法指导；BI产品有很多，如微软powerbi、tableau，做的很工具化，面向的是各行各业的专业的数据分析人员，对用户水平要求高，且需要各系统数据连接或导数再去分析；营销方向的产品/服务更多，但是专业给购物中心做会员营销的产品没有找到，但有给商场做会员运营的产品，产品中会涉及部分营销功能，它们更像是一个运营型的crm会员系统，需搭配着商场的App或是公众号H5页面或是小程序，主打商场的运营活动和会员权益领取兑换，并不是大数据营销，其用户量小，用户留存率和和日活较低，比如猫酷。因此得出的结论是，在购物中心百货商场零售大数据这个细分市场，还没有比较专业垂直的产品，还在处在早起阶段。
需求调研分析
接下来是需求调研阶段，对客户数据分析和运营部门人员进行了现场调研，包括数据组、O2O活动组、会员组人员和运营推广人员，他们的工作是数据报表的制作，经营数据分析、商户评估，会员活动运营以及App后台的运营，通过和相关人员的现场沟通，对他们的需求、问题以及相应解决方案（注解决方案是在和客户沟通需求、问题后我们提出想法大家一起商量对策，经过多次讨确定）整理如下几点：
1.数据组每日经营数据要报告给领导，目前要从系统中导数，再计算，然后再发送给领导，比较繁琐，希望对每日经营数据自动计算，推送领导或是通过系统查看
解决方案：汇总各业务系统数据，提供日常经营情况数据，包括核心经营指标和参考均值、对比、重点关注店铺、店铺排名top10，异动店铺排名top20、近期核心指标走势，建立日常经营概览，领导关注微信公众号，每日经营概览数据通过模板消息自动推送
2.日常工作总结汇报需要做数据报表，主要是双周、月度、年度报告需要做大量报表分析，各系统导数麻烦，希望能固化报表，自由选择周期，计算报表数据，由报表人员去对图表添加陈述分析解释
解决方案：按目前的报表内容建立双周、月度、年度报告，到期自动计算报表数据，并提供添加分析功能，进行报表结果解释分析，发布后，其他人员可凭身份登录系统查阅报告
3.日常数据分析中会对个各业务系统数据进行不同维度和粒度的数据下钻分析，需要多系统多维度导数，很费时，希望能提供不同维度下多级粒度分的数据下钻分析
解决方案：对采集到的各业务数据按业务主题建立多维度数据集市，如时间维度（粒度：小时、日、周、月年）、空间维度（粒度：楼层、区域、铺位）、业态维度（粒度：业态、品类、品牌），并定义好每个维度粒度之间的转换逻辑关系，支持全部数据的自由筛选查询、指标计算和数据下钻、占比、分布、趋势的统计分析
4.商户到期评估，租户经营类型判定，目前数据模型计算复杂，需手工导数计算，三月进行一次评估，希望能系统化，自动评估给出结果
解决方案：按现有的商户评估和租户经营类型模型去系统化实现商户的评估和经营类型的定义计算，监测到期商户，到期自动计算评估，经营类型每月数据采集完成就进行一次计算，给出经营类型
5.客户消费在品牌、品类、业态之间的关联消费、偏好难以挖掘洞察和跟踪，商场业态、品类、品牌调整缺乏有效的数据决策支持，靠招商运营经验判断，风险较高，且难以产生态效协同效果
解决方案：以会员消费数据为依据，建立会员购物篮模型，评估会员在业态之间、品类之间、品牌之间的关联度及关联度排名；以品牌商户为核心，建立品牌生态圈模型，计算周边品牌和中心品牌的消费关联度，挖掘客户消费行为相关性和消费偏好，优化购物中心业态、品类、商户结构、品牌配置，为招商提供依据
6.运营人员和领导比较关注KPI，希望能便捷查看年度目标，KPI完成情况
解决方案：建立核心经营指标年度KPI，并通过系统管理录入，并在日常经营和年度进展报表中提现，实时查看目标完成度；
（反思想到的改进的，现在杜邦只是对历史的两个周期进行分对比，对于KPI，可以应用杜邦财务模型，对历史数据和KPI进行拆解对比，找到提升KPI的方法）
7.会员营销靠从会员系统里人工选择一批会员的手机号，编辑好营销短信内容，给到第三方短信通道发送营销短信，希望能通过系统实现，并可定义筛选客群，进行个性化、场景化营销（boss需求）推送。
个性化解决方案：以会员为中心，关联各业务系统数据，对用户建模，建立用户标签，给客户打标签，基于标签进行客户画像，定义筛选客群，针对不同画像、客群的人群匹配不同的营销活动和内容，实现个性化的会员营销
场景化的解决方案：通过室内wifi sensor定位感知判断消费者实时意图，建立营销活动，配置活动触发规则，当用户的行为触发规则，则匹配该用户属性，选择信息发送渠道及合适的内容发送到客户
（反思：营销形式太过单一，通过短信营销，对客户造成骚扰，易引起反感，关注转化很低，应转向结合其他营销场景，如和卡券系统等其他业务系统打通，为购物中心及场内商户提供更多的营销场景想象力，渠道上也要尽量选择App或是公众号等渠道，触达通知到客户）
8.购物中心、商场搞营销推广活动，活动效果难以评估，希望能有监测评估营销活动效果
解决方案：营销活动建立发布后，对于营销效果的监测包括召回、转化消费，可通过场内的触点去感知，如：通过wifi sensor感知召回人数，通过pos消费去统计消费人数，这样可以监测评估营销活动带来的转化和消费，不断总结优化营销活动
9.(boss需求）希望能把部分数据和营销功能开发给商户，让商户也通过数据分析来辅助经营，自主发起营销
解决方案：（说明：这个需求是出于商业上考虑，希望将服务拓展到商户，能从商户端带来一些收入，本身商户的管理者也希望看到自己的经营情况，在商场同品类处于什么位次）建立商户为主题的数据集市，提供商户经营概览：包括经营数据以及店铺的客流数、经营坪效、排名，经营趋势，本店的关联消费top商户、本店消费会员等级分布、构成等；此外还观察来源于本店的商场会员在本店和在全场的消费对比，可以衡量购物中心和店铺是谁在给谁带来了资源流量，客观评价商场和商户的关系，为商场收租方式决策提供数据支持
从以上用户需求可以看出，客户确实有把各系统数据整合到一个系统进行数据分析和应用的想法和需求，这也验证了产品的想法，给了我们吃了颗定心丸，同时也明确了系统的建设重点是数据报表、分析、大数据营销，是一个分析营销型的数据平台。以上是用客户需求梳理分析，总体来说还是较概要，确立了需求的框架已经能初步去规划设计系统了。
产品规划
整个系统的业务逻辑是：后端采集各业务系统数据，并整合处理数据，前端对数据进行呈现和应用，向用户输出数据分析和营销服务，因此系统应用规划分前台和后台，后台是数据管理，负责对数据仓库和数据采集进行管理，前台是数据应用呈现，按数据应用场景和用户类别的不同，分为商管端和商户端，商管端向用户输出数据展示、数据分析、大数据会员营销服务，商户端向场内商户提供商户数据分析和商户营销服务。根据各端用户需求，将各端功能结构规划如下：
产品设计
商管端
面向商场运营管理人员，输出数据分析、会员画像、会员营销等应用服务。
经营报告
1.日报：主要是面向领导，提供每日经营概览，让领导快速了解商场每日经营状况，选取核心经营指标并配以参考均值和对比数据、核心经营指标构成占比、核心指标趋势、重点关注店铺、异动店铺等以dashboard形式呈现，通过登录系统主动查看或是通过微信模板消息每日推送。
2.年报：面向领导和运营、招商等人员，以年初到至今的各业务核心KPI指标和KPI的完成率、同环比数据以及年度经营趋势以dashboard形式呈现
3.双周报：面向数据分析人员，系统化现有的报告指标和报表，自定义时间，到期自动计算数据报表。
主题数据分析
面向数据分析人员、运营招商推广人员，提供各主题的日常经营概览和主题下的多维度数据统计分析报表，设计思路：各主题数据概览+多维度细粒度的数据分析报表
1.各主题数据概览：各业务主题日常核心指标+参考值和同环比、指标占比构成分布、近期走势
2.各主题多维度数据分析：业务主题按时间、空间、业态、新旧等维度，以及同一维度下的多颗粒度的进行数据指标和报表的统计，进行数据指标的多维下钻分析
数据模型
设计思路：按分析的目的构建数据分析模型，再选合适的呈现方式。
1.购物篮模型：通过每一位会员消费在品牌、品类、业态之间的关联消费，计算关联度，统计关联度进行排名呈现，挖掘客户消费偏好
2.品牌生态圈模型：通过计算选定的中心品牌和其他品牌的关联度，进行排名，以气泡连接图呈现生态关联关系
3.会员转化模型：按会员转化流程步骤构建会员转化漏斗图，分析会员转化路径上的问题，以漏斗图呈现
4.杜邦模型：按杜邦模型将核心指标进行多层级拆解和对比，以思维导图或多层级树状图呈现
5.商户结构模型：按商户经营类型模型计算商户经营类型，计算各类型商户分布占比，在品类维度对商户进行名单划分，以分区域散点图、结合表格呈现
会员画像
基于会员标签构建会员画像，划分客群
标签的构建设计逻辑：基于购物中心业务系统自有数据，以会员为中心整合各系统数据，和会员唯一标识关联，对会员行为属性的事实表和维度表穷尽各维度，确定各维度字段和取值范围，通过各行为属性的维度数据和事实数的字段和取值（大于，小于，等于，不等于，区间，不在某个区间）进行组合定义生成一个标签，标签之间不能再复合，建立标签引擎，定期计算给会员打上标签，给会员画像，每次计算都会对所有标签下的会员人数做统计，由管理员定义哪些是客群，也即人数可观的标签人群可以定义为客群
（反思1：更合理应该是建立了维度表和事实表，穷尽各事实和各类行为数据下的维度，事实表数取值可建立事实标签，对行为数据下的维度去建模，可以建立模型标签，这样不同方面行为下的模型标签之间以及事实标签可以再度复合成为标签，将能支持语义化的定义更高级的标签，更人性化，更容易理解，也便于标签的挖掘和生产，利于客群的筛选和挖掘）
（反思2：人数客观的标签群体可定位为客群，其实这里逻辑上有点问题，标签和客群弄的没了区别，但还叫两个名称，本质上没有错，但就是别扭，其实理想的是通过各行为下的标签复合筛定义筛选出来的人群可以称为一个客群，标签和客群层次不一样，但是通过多标签的复合描绘出了一类人群，可称为客群）
会员营销
1.活动营销
a)个性化会员营销设计逻辑：依据营销目的建立营销活动，基于会员标签划分出的客群，选择和营销活动内容匹配的客群，推送营销短信，通过对推送内容和会员属性：名称、称谓、会员等级、推送品牌、等个性化内容进行组织替换，实现个性化营销
（反思：活动营销个性化只是实现了不同客群营销内容不一样，需要挖掘大量客群，客群营销其实是批量打包客群营销，群发，应加入根据活动目的、内容和客群或是会员画像会员的匹配推荐策略，让营销更个性化，更精准）
b)场景化营销设计逻辑：场景化营销，关键在于场景的识别判断，可以通过室内wifi sensor采集线下到场会员的mac，通过mac在店铺或是区域的出现频次或是停留时长，猜测顾客的意图，如果mac满足营销活动的触发规则，则触发自动营销，前提是要预先创建好活动，包括活动基本信息，活动营销内容，客群，触发规则、营销渠道，控制整体发送量和个人骚扰度，进行推送。注意：营销活动的骚扰度要设置合理，不能太频繁，让客户反感
（反思：对于线下场景的识别，通过室内wifi sensor是不够准确的，场景单一，应挖掘更准确，更有效的场景，并在相应场景提供合适的服务，提高关联消费或是营销转化，如消费支付场景，或是采用更先进的设备采集数据，进行场景的识别营销，如基于人脸识别的场景营销）
营销效果评估
营销活动建立发布后，对于营销效果的监测包括用户召回，转化，有多少人是因为营销吸引过来的，需要形式一个闭环，评估设计逻辑是通过场内的触点去感知召回用户，通过wifi sensor感知召回人数，通过pos会员消费去统计消费人数，这样可以监测评估营销活动带来的转化和消费，不断总结优化营销活动
（反思：营销召回感知方式太过单一，依赖wifi sensor识别不准确，应改造升级设备，使用智能化的感知设备，如人脸识别摄像头等，否则难以准确评估。）
营销管理业务流程
注：黑色箭头连接为原流程，蓝色和红色背景框及箭头链接为反思优化的流程，子流程过多未一一贴出
功能权限设计
功能权限设计的逻辑：了解可能使用本系统的用户，根据客户现在的组织结构搭建功能权限，按用户、角色、权限进行划分，创建用户，要选择部门或分组，选定个角色，在给相应角色配置页面权限，权限控制到页面级。
商户端
1.店铺分析：面向店铺管理者，选择店铺关注的核心经营指标、经营趋势、会员构成、本店会员消关联排名店铺排名，本店经营排名等内容提供店铺日常经营情况，以dashboard形式呈现
2.店铺营销：业务逻辑是商户端用户发起营销活动申请，提交到商管端，由商管端运营人员审核，审核通过后去发起营销活动
(反思：店铺营销做的较简，营销发起后商户端应该有营销的监测评估，另外商户在营销中是可以选择客群的，客群使用的效果如何，需要有评价，不断优化，形成业务上的闭环)
数据管理后台
根据系统应用需求的评估，数据仓库及数据采集工具需要大量的配置、调度管理和监控的需求，另外部分应用的设置也需要在统一的后台进行管理。数据管理平台通过提供可视化的监控工具和管理功能，对数据仓库和数据采集工具的关键参数进行统一管理与配置。(此部分的需求和设计是和技术一起完成，实际开发中并未按下面的设计一一实现，重点在数据采集监控、数据核对上)页面设计主要是信息的增、删、改、查，状态显示，启停用，以列表和信息的提交修改为主
1.API-Manager的管理与配置功能
a)API接口基础管理（接口增/改/查、接口配置维护）
b)API接口状态及调度计划管理（启用/停用、计划配置）
c)调用结果监控
2.ETL计划与执行监控
a)ETL基础管理（ETL工具增/改/查、ETL配置登记）
b)ETL上传结果监控
3.数据源与数据采集计划可视化展示
4.数据手工上传工具
5.事实表查询（用于数据细节查看、数据核对）
原型设计
接下来是具体的页面原型设计，把之前的规划具象表达出来。对于报告和各主题概览以及主题的多维数据分析、数据模型，首先是通过excel列指标和和报表，和甲方沟通，了解具体的指标的定义计算方法，再去设计原型，这部分的设计主要是数据呈现和数据可视化，在设计时要站在相关使用人员的角度，考虑他们的关注重点，考虑工作中使用场景，了解一些些数据可视化的工具组件，dashboard和数据可视化设计注意点，进行页面原型设计。标签和营销需要去理解构建逻辑和营销的业务流程，是对业务的管理，主要是表单信息的提交和数据流转，功能、步骤、内容划分明确，考虑用用户的使用场景，简化步骤，以效率提升为设计导向。
需求文档及需求评审
接下来是产品文档的撰写，为了加快项目进度，尽快进入开发阶段，我们并没有再去写一份详细的需求文档，而是通过在页面原型上标注数据指标计算方法、逻辑说明、交互说明、相关功能流程说明，加上之前规划产品时的思维导图和相关业务流程图一起构成了需求文档，在产品和技术评审会中对各页面数据指标数据来源、计算逻辑，呈现方式做一一讲解说明，尤其是在标签画像，营销等功能，结合需求和业务流程图、页面原型等进行详细的讨论评审讨论，包括实现难易程度、需求的变通实现方法、改进意见等等，我再去做调整和改进，直到达成共识通过评审。
项目跟进
需求评审完就进入了项目开发阶段，我们是结合功能需求表和页面原型，与前后端技术人员一起，按技术开发协作的步骤：数据采集处理、后端数据接口提供和前端页面开发三个环节去给出各个需求需要投入的开发时间，给出功能需求的排期和任务进度表，然后把需求提到禅道，再转化为任务，通过禅道来进行项目任务的拆解分配和项目进度的把控以及bug的反馈跟踪。沟通协调：在开发中涉及第三方系统供应商的技术对接，也参与到数据采集的沟通协调中，和技术一起定了数据采集抓取的机制，初期开发这部分占去了不少的时间。进度把控：在项目开发中迫于项目交付和技术资源的压力，对一些功能需求的实现方式和效果有做妥协让步，有些采用了简单的实现方式，使用体验上不是很好，有些功能需求砍掉了，这是最纠结的，因为想要做一个体验好的产品给客户，简化和砍需求一方面感觉没达到自己的目标和预期，一方面是对客户的不负责，但其实资源是有限的，产品也不是一次就做完美的，而是不断迭代打磨的，需要合理利用资源，从这点想后面也就释然了。系统功能模块较多，我们采用持续交付，对于产品功能模块，开发完测试完成一个就上线一个模块，让客户也参与到测试试用中来，在使用的同时提出产品改进意见，及时发现问题及时调整，避免开发功能和客户需求不符而返工。
验收上线
整个项目持续时间为8个月(中间有插入其他项目和人员更替)，开发测试完成后，进入验收阶段，相关验收文档我书写了测试报告和使用说明文档，并和客户一起进行了现场验收确认，至此完成本项目。
总结
产品在规划时是想做一个行业通用的产品，但是最后在开发中，实际的资源和条件时不允许，一是人力和资金投入不能支持，二是客户交付的压力，三是仅以少数客户需求为依据，不具代表性，难以验证产品，我们采取了快捷的实现方式，直接从需求到应用的开发，不具有普遍性，复制困难，要做成行业通用的SaaS化产品，需要从数据采集工具和数据可视化组件做工具的抽象，能支持各家系统便捷的连接各数据源采集数据，能自定义数据报表和自助式数据分析，以满足各家客户报表和数据分析需求。需求的挖掘分析：整个系统从后期客户的反馈来看，主要还是满足了数据指标搭建、统计报表、数据分析的需求，客户后续提出的需求也集中在数据统计分析报表，对于消费者户画像和会员营销提出需求较少，可能是产品的易用性设计的不够好，在产品设计部分已作了反思，也可能是在用画像和会员营销上不是客户的痛点，缺少通过标签画像来营销运营的观念和方法，这需要我们去引导客户去建立标签、去挖掘核心客群，去做会员的营销，发现问题，不断改进产品。线下场景能获取的取数还是比较少，需要有更智能的采集感知设备，采集更多更全面的数据，把客户的线下消费行为数据化，支持商场的大数据分析和运营。
