数据挖掘和人工智能

Lowess 技术和小波分析原理

2017-03-07  本文已影响0人  勾陈一_2255

Lowess 技术和小波分析原理简介

局部加权光滑描点技术( locally weighted scatter plot smooth,Lowess)Lowess 方法类似于移动平均技术,是在指定的窗口之内,每一点的数值都用窗口内临近的数据进行加权回归得到的,回归方程可用线性的或者二次的。如果指定的窗口宽度之内,拟进行平滑的数据点两侧的进行平滑的数据点是相等的,则为对称 Lowess,如果两侧数据点不等,则为非对称 Lowess。

一般来说, Lowess 方法包括以下步骤:

1.计算指定窗口内各个数据点的初始权重,权重函数一般表达为数值之间欧氏距离比值的立方函数;

2.利用初始权重进行回归估计,利用估计式的残差定义稳健的权函数,计算新的权重;

3.利用新的权重重复步骤 2,不停的修正权函数,第 N 步收敛后可根据多项式和权重得到任意点的光滑值。

利用 Lowess 方法进行数据平滑处理的重点参数在于窗口宽度的选择,窗口宽度过大将使得光滑描点涵盖的历史数据过多,降低最新价格信息对平滑值的影响,反之,过窄的窗口宽度使“平滑”后的数据并不平滑。需要指出的是,由于 Lowess方法应用的是某一数据点两侧的数值进行平滑,而对于期货价格等金融时间序列而言,得到最新的实际成交价格之后,如果对该时刻的平滑值进行估计,则往往缺失该时点右侧的数据信息,因此 Lowess 在期指合约价格平滑处理中的应用,是以“非对称”的方式进行的

小波分析( Wavelet Analysis)

小波分析是处理非平稳序列的有效工具,不同于傅立叶变换把信号从时域向频域转化或者傅立叶逆变换把信号从频域向时域转化,小波分析能够同时将信号在时域和频域两个尺度进行分解,不但能够在时域很好地刻画信号的局部性,同时也能在频域反映信号的局部性; 而且小波分析由于对高频成分采用逐渐精细的时域或频域取样步长,从而可以聚焦到对象的任何细节,小波分析被称为“数学显微镜”;当前小波分析广泛应用与信号处理、图像处理、语音识别等领域。根据小波分析理论,小波分析主要包括信号的分解、重构、降噪和压缩等操作。小 波 分 解 可 视 为 将 信 号 S 通 过 高 通 滤 波 器 和 低 通 滤 波 器 分 解 为 逼 近 信 号

( Approximations)和细节信号( Details)

其中高通滤波器( high pass filters)只能通过高频信号,经过高通滤波器滤波后的信号为细节信号;低通滤波器( low pass filters)只能通过低频信号,经过低通滤波器滤波的信号为逼近信号。图 1 所示的只是对信号进行单层的分解,实际中可用选定的母波(滤波器函数)对原始信号进行多层分解。即对每层分解出来的逼近信号( Approximation)再次进行分解,即可对原始信号进行多层分解,具体分解层数可根据实际需要确定。实际应用中,对经小波分解的信号序列进行处理之后,往往进行信号的重构(Reconstruction), 重构信号是在分解的逼近信号和细节信号基础之上,经过反向滤波后合成与原始信号比较接近的时间序列数据。与原信号相比,重构后的信号规律相对可循,宜于进行进一步的分析。

如图 2 所示,分解成三层的信号的重构信号可表示为:

S=A3+D3+D2+D1

可以看出,通过对分解后的最底层的逼近信号和其他各层的细节信号的叠加,即可得到于原始信号比较接近的重构信号。事实上,小波分析并不是简单的信号分解和叠加,如果直接分解后就叠加,则得到的新信号和原始信号并无太大区别,也就失去了小波分析的意义。实际中,需要对分离出来的逼近信号和细节信号进行处理后再进行叠加,以期发现信号中隐藏的规律,常用的处理手段包括降噪和压缩。我们知道,低频信号一般反映了事物的主要特征,而高频信号则反映了事物局部的细节特点。以语音为例,经过小波分解之后,如果在重构过程中不考虑细节信号,则重构后的信号仍然能够出懂语音的内容;反之,如果重构过程中只考虑细节信号,则无法识别语音的内容。语音信号中的噪音大多来源于高频信号,因此在语音识别中,通过对小波分解后的细节信号设定某一阀值,强行把超过该阀值的信号的值设为 0 或者某一可接受的值,然后把所有经过处理的细节信号和最底层的逼近信号进行合成,重构后的信号相比于原始信号,不但能够识别语音的内容,而且更加清晰。这种处理方法即可理解为“降噪”,某一含有噪音信号的时间序列数据降噪。

米筐量化交易平台:http://www.ricequant.com

量化炒股QQ群:484490463  群内大神每日在线讲解代码,用Python自动赚钱!

上一篇下一篇

猜你喜欢

热点阅读