截点的自动识别

一、背景描述

已知某特征数据随着日期变动，长期以来有两种处理截点的方法：

(1) 人为判断“截点”的存在
(2) 直接设置每天12点划分一个“截点”，然后运行某程序。

人为判断的方式耗人力，直接划分的方式损耗计算机性能，因此急需一个自动划分截点的算法。

截点识别是面向实时数据的，当新数据生成，算法需判断该点是否为“截点”。

需要考虑以下内容：

• 是否是截点，人为判断的主观因素比较强，因此一开始的标签设置决定后面截点的模样。

• 不能因为曲线的频繁波动就划分很多截点，否则很可能短期内频繁启动程序，更耗性能。

• 截点划分只能看到前面的数据，不知道后一天的走向

• 需要设置阈值MAX_DAY， 保障如果MAX_DAY天数内，没有符合算法的“截点”生成，当天24点运行一次程序。

二、算法设计

一开始走过不少弯路，例如一维时序的周期性识别、峰值谷值的自动识别，...

一番探索以后，认为这应该是一个有监督的算法。先人工对“截点”进行标记，然后训练二分类算法。

(1) 特征提取

取前n天的环比数据作为特征，例如第i天的特征数据为：

count为原始一维时序数列，特征1-8为前8天的环比值，1表示为截点。

(2) 模型训练

• 算法选型：分类算法很多，需进行最优分类的选型。
• 特征工程优化：算法取前n天的环比数据作为特征，可配置n查看截点分类效果，选择最优n值。

(3) 截点自动划分器

配置信息：

• MIN_TIME：保障短期内不多次触动某程序，要求两个截点的时间差距要大于MIN_TIME才可触发某程序。
• MAX_DAY：如果MAX_DAY天数内，没有符合算法的“截点”生成，当天24点运行一次程序，避免长期不触发某程序。

新数据count生成，首先判断是否为“截点”，如果是，判断距离上一个截点的时间间距是否大于MIN_TIME天，如果是，触发某程序；
新数据生成，判断是否为“截点”，如果否，判断距离上一个截点的时间间距是否大于MAX_DAY，如果是，触发某程序，否则当天不允某程序。