打造数据蛙电商数据分析平台【启动】

前言

最近看到数据蛙公众号后台留言，有朋友留言说道近两年，传统电商流量红利已经越来越少，短视频和直播成为新的带货模式。在今年618期间，李佳琦在淘宝直播再度刷新战绩：一场直播卖出15万支唇釉；3分钟内卖出了5000单资生堂红腰子；1分钟售罄柳宗理铸铁锅4万口。只要在社交媒体上随便一搜，就能搜到李佳琦带货能力有多强，只要李佳琦他说出‘买它’两个字，有的网友就像被附体一样，看啥想买啥。

还看到有的朋友留言说刚入行电商数据分析不会处理数据，首先，我们要知道什么叫数据分析。其实从数据到信息的这个过程，就是数据分析。因为数据本身并没有什么价值，有价值的是从数据中提取出来的信息。

为了让数据蛙社区同学更好的学习数据分析，目前正在做一个电商数据分析平台，只作学习用。

一 规划 平台介绍

在电商平台购物时

会不会有以下的情况：

现在通常消费者会花大量的时间在商品之间、电商平台之间的来回比价，消费者都希望能买到价格划算的笋货，和自己的亲朋好友攀比谁买的东西更优惠划算。因为在这个时代没有人会拒绝最划算的价格。

比如双11这类的电商重大节日时，即便价格跟对手仅仅相差几元钱，也有可能损失一笔订单。

电商平台各种各样的折扣信息，经常性不能选择关注指定商品。

想知道整个某宝上食品/衣服类目实时折扣力度最大的商品。

这是一个基于python爬虫的实时价格监控网站

我们打造一个类似这样的价格监控网站

实时价格监控网站-图片来自zhihu
添加商品-图片来自zhihu
发送邮件功能-图片来自zhihu

二 规划 网站功能介绍（后续还会添加）

• 实时采集电商商品价格
• 建立和管理比价关系
• 进行比价运算
• 用户通过浏览器登录该网站
• 用户可设定email邮件通知
• EXCEL报表输出

三 规划 网站架构

爬虫作为监控手段，监控商品的实时价格

Flask+ Scrapy爬虫框架+代理池 + 数据库

架构图

• 采用Scrapy分布式爬虫框架爬取整个品类的商品
• 采用代理池提高整体采集效率
• Web端：后台会选择网上推荐的Flask。
• Flask中，涉及到使用Flask-Admin，Flask-Login等组件，搭建用户注册登录系统。

四 规划 电商公开数据

持续地自动化地从（看图片）某宝、某猫、某京东、某品会、某易购、某当等网站上采集商品信息，将下述信息从网页上提取出来：

五 规划 数据呈现

六 规划 未来

这个项目正在和团队的小伙伴努力开发中，我也会一边开发一边总结。

环境搭建篇 2019-08-29 搭建Vue.js

Vue.js 和Flask

首先安装Node.js

1.Node.js 安装包及源码下载地址为：https://nodejs.org/en/download/。

你可以根据不同平台系统选择你需要的 Node.js 安装包

Node.js 历史版本下载地址：https://nodejs.org/dist/
我所使用的系统是Windows 10，可以采用Windows 安装包(.msi)方式来安装。

1 : 双击下载后的安装包 v0.10.26
2 : 点击以上的Run(运行)
3 : 勾选接受协议选项 4 : Node.js默认安装目录为 "C:\Program Files\nodejs" , 你可以修改目录，并点击 next（下一步） 6 :点击 Install（安装） 开始安装Node.js。你也可以点击 Back（返回）来修改先前的配置。 然后并点击 next（下一步）
点击 Finish（完成）按钮退出安装向导
image.png 检查Node.js版本是否安装成功

2.基于node.js,利用淘宝npm镜像安装相关依赖
在cmd里直接输入：

 npm --registry https://registry.npm.taobao.org info underscore，回车，等待替换成功..

3.安装vue

npm install --global vue

3.安装全局vue-cli脚手架,用于帮助搭建所需的模板框架

在cmd里 1)输入：npm install --global vue-cli，回车，等待安装...
           2).输入：vue，回车，若出现vue信息说明表示成功

(PS:如果此时显示vue不是内部命令或外部命令，可先将路径D:\Program Files\nodejs\node_global配置到系统变量PATH下。再次使用命令，若还不生效，请重启计算机再次操作。)

4.创建项目
在cmd里输入：vue init webpack vue_test(项目文件夹名)

5.安装依赖

在cmd里  1).输入：cd vue_test（项目名），回车，进入到具体项目文件夹

                2).输入：npm install，回车，等待一小会儿，会发现项目结构里，多了一个

                node_modules文件夹，这里面都是项目的依赖文件。

基于脚手架创建的默认项目结构如下图所示：

6.测试环境是否搭建成功
1：在当前vue_test目录打开cmd里输入：npm run dev
2：在浏览里输入：localhost:8080(默认端口为8080)

运行起来后的效果如下图所示：

添加公众号【数据蛙DataFrog】，加入学习交流群，我们一起学习共进步，2019齐加油