前言

现在发文章拖得很慢，加上简书这个月禁止发文，过了半个月才写了第二篇《打造数据蛙电商数据分析平台》小结。无奈自己是一个业务猿，每天被公司的产品大人虐的死去活来，上周又病了一下休息了一周，请大家见谅。

最近看到数据蛙公众号后台留言，有朋友留言说道近两年，传统电商流量红利已经越来越少，短视频和直播成为新的带货模式。在今年618期间，李佳琦在淘宝直播再度刷新战绩：一场直播卖出15万支唇釉；3分钟内卖出了5000单资生堂红腰子；1分钟售罄柳宗理铸铁锅4万口。只要在社交媒体上随便一搜，就能搜到李佳琦带货能力有多强，只要李佳琦他说出‘买它’两个字，有的网友就像被附体一样，看啥想买啥。

还看到有的朋友留言说刚入行电商数据分析不会处理数据，首先，我们要知道什么叫数据分析。其实从数据到信息的这个过程，就是数据分析。因为数据本身并没有什么价值，有价值的是从数据中提取出来的信息。

为了让数据蛙社区同学更好的学习数据分析，目前正在做一个电商数据分析平台，只作学习用。

一 规划 平台介绍

在电商平台购物时

会不会有以下的情况：

现在通常消费者会花大量的时间在商品之间、电商平台之间的来回比价，消费者都希望能买到价格划算的笋货，和自己的亲朋好友攀比谁买的东西更优惠划算。因为在这个时代没有人会拒绝最划算的价格。

比如双11这类的电商重大节日时，即便价格跟对手仅仅相差几元钱，也有可能损失一笔订单。

电商平台各种各样的折扣信息，经常性不能选择关注指定商品。

想知道整个某宝上食品/衣服类目实时折扣力度最大的商品。

这是一个基于python爬虫的实时价格监控网站

我们打造一个类似这样的价格监控网站

实时价格监控网站-图片来自zhihu
添加商品-图片来自zhihu
发送邮件功能-图片来自zhihu

二 规划 网站功能介绍（后续还会添加）

• 实时采集电商商品价格
• 建立和管理比价关系
• 进行比价运算
• 用户通过浏览器登录该网站
• 用户可设定email邮件通知
• EXCEL报表输出

三 规划 网站架构

爬虫作为监控手段，监控商品的实时价格

Flask+ Scrapy爬虫框架+代理池 + 数据库

架构图

• 采用Scrapy分布式爬虫框架爬取整个品类的商品
• 采用代理池提高整体采集效率
• Web端：后台会选择网上推荐的Flask。
• Flask中，涉及到使用Flask-Admin，Flask-Login等组件，搭建用户注册登录系统。

四 规划 电商公开数据

持续地自动化地从（看图片）某宝、某猫、某京东、某品会、某易购、某当等网站上采集商品信息，将下述信息从网页上提取出来：

五 规划 数据呈现

六 规划 未来

这个项目正在和团队的小伙伴努力开发中，我也会一边开发一边总结。

环境搭建篇 2019-08-29 在此省略
（有兴趣的童鞋可以点击链接https://www.jianshu.com/p/6ab0c0196a55
看看上一期的文章，有环境搭建篇看）

雏形篇

大家好，今天对于这个项目搭建进行一个小结，最近在刷vue的官方文档了。在刷过文档之后，我就想着，真实的项目是怎么样子的呢，那么现在电商数据分析平台已经做出了简单的一个雏形

什么是Vue?

渐进式JavaScript框架优点:
1 体积小 压缩后 33K
2 更高的运行效率
3 双向数据绑定
4 生态丰富、学习成本低
5 对初学者友好，入门容易，资料多‍

大家可以看下方图片：

登陆

这个空白页面画上两个input的框，一个是登录账号，一个是登录密码。一个记住密码的框框，再放置一个登录按钮。我们将登录按钮上绑上click事件，点击登录之后向服务端提交账号和密码进行验证。 这就是一个简单的登录页面。

这两个页面是用于展示每个电商平台的数据和可视化，因为数据那边还在准备，现在暂时还没数据看到，我们争取本月让这个项目上线

雏形篇的东西也差不多讲完了，这里小编只是做一个简单的小结，朋友们如果有什么想法或者建议欢迎去微信社群找群主凯旋聊聊说说，或者在公众号留言
谢谢大家观看！

添加公众号【数据蛙DataFrog】，加入学习交流群，我们一起学习共进步，2019齐加油