营销后台设计文档
背景
渠道投放是公司获取新用户、保持用户增长最重要的来源，渠道在公司未来的发展计划中具有重要的战略意义。当前投放渠道多种多样，应用市场、搜索市场、信息流等，涉及的环节众多，赋能渠道同学的提升投放效率提升也是技术人员当前需要重点关注的事项。力求群策群力、专业分工，从产品、营销、技术侧共同努力来提升整体渠道的消息。
目标
总体目标：提升渠道整体的投放效率
整个渠道投放涉及链路较长，下面以百度SEM为例说明下当前的操作流程和涉及的平台和事项。
- 鲁班平台：素材制作
- 顶天系统：渠道管理
- 百度推广：关键词选取、计划单元设计、价格调整
- tableau报表：链路漏斗数据查看、成本分析、流量
当前主要问题主要集中在跨平台操作、平台之间关联度较差、数据链路串联有缺失、优化实践无法标准化等
跟各方沟通过后，计划会从如下几个方面来进行效率提升优化
- 数据融合
- AB测试
- 素材管理
- 渠道管理
- 数据决策支持
- 第三方渠道投放接口对接
- 投放建议报告
数据融合
当前投放主要在百度推广等第三方广告供应商平台进行，不同的外部平台的组织形式、操作模式等也区别很大。投放同学在商业广告平台上根据具体的受众用户制定相应的应对计划，鉴于SEM、应用市场、信息流等场景的投放场景区别较大，营销后台采用菜单分开的方式来查看、操作不同渠道的不同平台。
整个数据的链路涉及多个平台，按照数据可以分为外部渠道平台数据和公司内部数据体系，对于百度平台，计划、单元、关键词划分，创意、高级创意的设计，单元级别的曝光量、点击量、投放价格；公司内部数据是从广告链接点击后从落地页曝光开始到整个站内转化的数据，包括落地页面曝光、手机号输入、验证码获取、验证码输入、注册按钮点击、登录量、app内部账户导单、贷款、办卡、人品等业务转化数据。
通常这两个平台的数据查看维度区别很大，百度SEM中大部分数据的查看粒度是单元维度，可以查看到一个单元的页面曝光量、点击量、平均点击价格、花费、质量度。公司内部数据大部分都是以channelcode作为主要查看维度，可以查看到某一个具体channelcode的各个阶段的转化率。
当前数据查看还有一个问题就是离线和实时的分离，很多需要实时显示的数据目前无法获取，比如某一个落地页面曝光到登录的整个链路数据，已有实时数据和离线数据口径计算不统一。离线数据大部分是在tableau中进行报表的配置，而实时数据除极少部分有外，大部分数据都没有或者查看使用成本很高。
未来也希望能够做到不同渠道推广平台的数据融合到公司内部的统一平台中，营销后台管理系统能够集不同平台数据集中、实时离线数据统一查看、数据概览和数据分析决策于一体。
数据融合目标
- 能够按照计划、单元的维度查看整个链路的数据情况
- 实时数据和离线数据的统一查看
- 细粒度分析对比不同维度的数据展示情况（分时、分渠道号）
一期以百度SEM为支撑目标来进行下面的需求设计、功能设计、页面设计等维度的阐述。
功能设计
营销平台目的是希望能够融合不同的投放平台，暂时先采用不同的渠道平台不同的菜单页面的方式来进行分别管理，后面有统一的数据模型后再考虑迁移。
数据概览图
页面步骤的顶部菜单用于区分不同不同的投放平台，未来跟这个平级的可能有AB测试、渠道日报等，顶部菜单切换的时候左侧菜单选项列表发生相应的变化，右侧的主面板由顶部菜单和左侧列表共同决定。
账号管理
百度SEM平台需要支持多账号的管理模型，所有的列表信息都是以账号为最小资源分割管理维度。数据的查看都需要先选择账号信息才能进行查看，默认显示在用户有权限查看的账号信息中按照字典排序的第一个账号信息。
由于账号信息的变更频率极低，目前直接通过apollo平台通过SQL语句在数据库中直接插入新增的账号信息。账号名称保持和百度推广中的名称一致。
百度数据爬取
百度的元数据爬取目前采用天级别的维度，一天爬取一次，包括计划、单元、关键词、创意、高级创意列表。数据爬取完毕经ETL后存入数据仓库相关的表中，每天通过数据导入任务迁移到MySQL中。经过分析，目前计划、单元等元数据的新增变化不大，T+1的离线数据也能满足当前的分析查看需求。
元数据的爬取是一天一次，其余落地页曝光、注册率等指标还是按照实时离线的维度进行查看，具体实时的业务数据的查看还是满足实时的要求。
渠道分析
渠道分析管理目的在于以渠道的视角来查看具体的数据情况，同时通过分析爬取的创意表来串联其channel code和计划、单元的关联关系，元数据包括如下几列
- channel code
- 计划名称
- 单元名称
- 落地页ID
- PC投放URL
-
Mobile投放URL
其中落地页ID不一定和素材ID直接对应起来，比如在AB的情况下不一定能唯一对应起来，AB的数据会放在后面的AB章节中单独做介绍，此处不在赘述。
渠道元数据
页面进来的时候默认显示所有的channel code，同时也支持搜索查看某几个channel code的数据，点击数据图表按钮后能够查看具体的某个channelcode的数据情况。
channel code详情页中包含实时数据和离线数据两部分。实时离线数据都有相关的漏斗数据，离线数据中除了漏斗数据外，还有成本和收益数据。
实时数据
- 落地页曝光量
- 手机号码输入量
- 验证码获取点击量
- 验证码输入量
- 注册按钮点击量
- 新用户注册量
- 老用户注册量
- 注册失败量
- 下载量
- 登录量
成本收益数据
- 渠道成本
- 用户单注册成本
- 当天收益
- 七天收益
- 30天收益
channel code选择的情况下可以查看不同落地页的数据转化情况，想查看同样的落地页在不同的渠道下面的表现情况，同样也可以查看同样的渠道不同的落地页的表现情况。
渠道分析
计划单元信息
通过这个列表能够查看不同的计划，以及计划中列表中的单元、创意、等信息，整个布局格式保持和百度推广原生的数据保持一致即可
image.png
本次会在组件平级的菜单中添加渠道一项，便于查看不同的channel code的曝光、展示、点击数据（现在还存在一个channel code对应多个创意的问题，无法做精准区分）
基础报告数据
基础报告数据一期直接抓起百度相关的数据报告数据，针对计划和单元级别的数据可以把百度的曝光、点击、价格和注册、曝光等详情数据串联起来
image.png
数据概览
数据概览页面的目标是为用户展示当然波动较大的数据和关键的数据信息
- 关键字消费TOP10
- channel code注册率TOP10
- 落地页注册率TOP10
- 账号消费情况
- 搜索词最高的TOP10
AB测试
整个渠道营销活动需要根据外部用户、竞品的相关变化有针对性的进行调整，无论是竞价的调整还是落地页的优化。在真正全面线上推广铺开之前，需要切分出部分线上流量进行方案的验证。支持单个实验的上线是相对简单的，但真实的线上AB测试之间会出现参数交叉的情况，AB测试实验需要满足下面几个要求。
更多：同时能支持多个实验同时运行。不同的实验有不同的要求，比如有些实验需要特定的流量要求，如只需要针对中国的用户做实验测试。还有的实验可能是需要定量的流量效果才能达到统计学上的区分。
更好：按照信念假设进行实验的过程越来越多，同时有多种实验在线上处于验证，线上的真正运行的实验需要是最优的。需要系统具备快速评估各个实验的表现情况，快速的发现并剔除掉不好的实验。实验报告必须符合可阅读和可执行的目标，不同的分组中的评估指标需要一致，同时需要快速能够得到最新的结果反馈。
更快：AB测试实验平台需要易用，产品、技术、运营、时常能够基于现有的平台的快速建立自己的实验，一些跨平台的操作需要尽可能的融合到AB测试平台中。自助式的快速开发实验涉及的数据指标和实验效果的归因分析。
实验开展完毕后需要有地方统一的查询检索，在新实验开展之前是否有相关历史实验开展，避免已经验证过的想法多次上线。用户也能通过这个平台把一些曾经在某些场景下有效果的方案和自己的真实场景结合起来。
实验的列表
实验列表
实验列表展示了所有的实验列表，包括正在运行中或者已经结束的，均可以通过实验列表页面来进行相关的查询。实验列表主要解决两个问题
- 有哪些好的实验想法可以参考或者实验想法验证前过往是否已经有过验证
- 调整运行中的实验的流量和相关的准入条件
实验的创建
- 不同的实验类型操作流程区别比较大，页面创建的先选择实验类型
- AB实验描述信息，填写实验的名称、实验假设、实验描述
- 选择准备进行实验的落地页ID（落地页ID和鲁班系统中保持一致），选择准入条件（目前只支持选择某些channel），流量分配按照会话cookie做随机分桶，保证一段时间内用户体验的一致性
-
分组选择。可以进行分组的增加和删除，一个分组对一个素材页面，具体的素材从鲁班系统中获得
实验类型的选择
image.png
image.png
实验报告的展示
支持从实验ID维度查看不同素材ID的各个指标信息，包括离线数据和实时数据的支持
未来一些条件的支持
- 支持按照时间、地域、搜索关键字来路由到不同的素材页面
- 基于设备信息的老用户的识别的定向页面展示
数据决策支持和投放建议报告
SEM广告中是用户在搜索引擎输入关键字，广告平台公司按照广告主的竞价、预估点击量、质量度等综合得分给用户展示靠前的某一些广告。
广告主在搜索广告平台中的核心在于关键字的选取和价格的选定，不同的关键字代表不同的流量大小，某个关键字能给网站带来的点击通常和广告主针对某个广告的价格呈正相关。
计划、单元、关键词维度的指标数据收集（小时级别维度，可以直接访对接百度API）
- 曝光量
- 点击量
- 价格
- cpc
- 注册量
计划、单元、关键词维度的内部数据指标（天级别）
- 曝光量
- 点击量
- 价格
- cpc
- 注册量
- 当日ROI
- 七日ROI
#######辅助决策数据
上面的数据随着竞价的调整会发生一些变化，对于单个关键字而然，在一定价格范围内和时间内，广告点击数量跟竞价呈现一定的关系（可能是线性关系），同样的点击成本和竞价也呈现一定关系
辅助问题一：假定竞价不变化的情况下，做到成本一定的情况下，如何在账号、计划级别选取合适的关键字投放以达到某项指标最优。
为了方便问题的说明，我们假定把点击量作为目标函数考核的指标，这个问题可以用如下的方式表示
image.png
其中C是总的成本，clicks是关键字的点击量，cpc是某个关键字的点击价格
上面这个问题可以增加小时维度，就可以扩充为在一天的成本可控的情况下，如何在一天中各个时间段如何合理分配资金，达到一天的效用函数最高，上面的问题也可以在增加一些其他的限制条件。
整个实现过程包含两个方面，一个是数据准备阶段，第二个是辅助数据决策阶段，该问题设计目标是在渠道同学选择完效用指标和限制条件下（时间限定、成本限定、点击量限制、范围限定等）输出最优的组合方式。
- 数据反馈实时化，整个链路数据能做到分钟级别的数据查询
- 同时段多实验并行化，支持AB测试实验
- H5页面素材自主修改快速上线
- 数据报告查询的串联化，一个平台能以合理的组织形式查看到关键数据报告
- 数据报告细粒度化，能够针对渠道、计划、单元、落地页等来检索不同的链路数据
- 实验经验的总结管理
- 赋能渠道同学日常工作以提升效率
核心需求
- 数据链路实时化
- 埋点数据实时上报，同时满足统一的格式要求，便于后面数据加工的统一处理
- 实时数据实时分析的支持，支持按照不同的维度来统计曝光、手机号输入、验证码获取等指标的查看
- 实时数据和离线数据数据准确一致性的保证，实时数据处理参考离线数据处理逻辑
- 动态路由AB能力
- 支持随机流量切换、时间、地点、搜索词匹配不同落地页的能力
- 能快速获取同一个实验不同分组之间的数据报告
- 鲁班系统中能够一站式完成落地页设计到发布AB实验、数据查看的能力
- 一站式数据查看能力
- 爬虫能力，能够爬取如百度SEM的计划、单元、关键词等相关信息
- 核心数据的展示，TOP10的落地页转换率、TOP10的成本耗费等
- 将现有tableau报表的数据和外部数据融合统一展示
- 数据查看粒度的更进一步细化，如能够分析出统一落地页不同渠道的转换等
- 实验管理的能力
- 固化AB实验的流程，AB上线之前，需要按照实验想法验证、实验描述、实验操作步骤、实验结果、实验分析来固化整个实验结果
- 已开展实验的查看匹配，避免无效实验屡次上线
实现路径
一期先重点以百度SEM为切入点，构建其整个后台的框架，便于数据的一体化查看和重点报表的概览展示
注册漏斗图
- 数据查询接口统一，提供统一的接口便于查询检索实时和离线数据，方便后面的存储切换和数据口径的统一，防止每个平台各自开发一套
- 数据概览页面，TOPN的数据展示，便于快速发现问题
- 按照计划、单元、关键词|URL的数据展示
