如何从零到一搭建初级数据体系
2022-10-01 本文已影响0人
英国丶蔷薇
自学excel、python、爬虫和BI,却一直在小公司里打转,干着最基础数据员的工作,没有真正入行数据分析,梦碎了,就以此文总结纪念一下
数据体系
背景:没有数据库,没有上数据系统,初创跨境电商公司
结合数据分析工具,大体流程:
- 用python的爬虫框架爬取数据,在卖家后台导出报告
- 用pandas做数据清洗和处理,写入mogodb或mysql数据库
-
用PowerBI建模,用度量值写指标公式,做可视化看板
数据体系.png
1. 数据获取
- 数据爬取:使用python中的selenium进行爬取,模拟浏览器点击,但速度有点慢
- 亚马逊报告:直接从卖家后台导出各个板块不同维度的报告,常用的有这些
- 付款日期范围报告
- 业务报告
- 库存报告
- 退货、换货报告
- 广告报告
2. 数据仓库
- 数据爬取完后,用python写入mogodb或mysql等数据库存储起来
- 导出报告后,用python的pandas、numpy做数据清洗和数据处理,最后同样写入到数据库中
3. 数据维度&指标
3.1 自身
3.11 产品
销售
销售.pnglisting链接
listing链接.pngFBA库存
FBA库存.png价格与营销
价格与营销.png产品运营
- 产品等级
- 产品生命周期
- 产品运营状态
- 产品运营计划