线性相关
## 假设
### 假设一：近似线性相关假设。线性相关假设是使用两种模型进行异常检测的重要理论基础。
### 假设二：子空间假设。子空间假设认为数据是镶嵌在低维子空间中的，线性方法的目的是找到合适的低维子空间使得异常点（o）在其中区别于正常点（n）。
## 线性回归
通过其他变量预测单独的属性值，假设不同维度的变量有一定的相关性（自变量和因变量）
应用：可以用于数据降噪或异常检测；
### 基于自变量与因变量的线性回归
#### 最小二乘法
标准差
#### 梯度下降
Loss function 损失函数：the error for single training example
cost function 代价函数:the average of the loss functions of the entire training set
线性回归的损失函数：均方误差
### 基于异常检测的线性回归
即以相似的方式对待所有变量，通过最小化数据对该平面的投影误差确定最佳回归平面
## 主成分分析
用一些潜在变量代表整个数据
原理：
如果前 k的特征向量选定之后（根据最大的k个特征值），由这些特征向量定义的 k维超平面是在所有维度为 k的超平面中，所有数据点到它的均方距离尽可能小的平面。
如果将数据转换为与正交特征向量对应的轴系，则转换后的数据沿每个特征向量维的方差等于相应的特征值。在这种新表示中，转换后的数据的协方差为0。
由于沿特征值小的特征向量的转换数据的方差很低，因此沿这些方向的变换数据与平均值的显着偏差可能表示离群值。
值得注意的是，对异常得分的大部分贡献是由 λj
值较小的主成分的偏差提供的，这一点上文中有提及过。主成分分析比因变量回归能更稳定地处理少数异常值的存在。这是因为主成分分析是根据最优超平面来计算误差的，而不是一个特定的变量。当数据中加入更多的离群点时，最优超平面的变化通常不会大到影响离群点的选择。因此，这种方法更有可能选择正确的异常值，因为回归模型一开始就更准确。
### 归一化
主成分分析最好归一化，数据本身的度量方差或值域会导致主成分变量选择有偏。
# Anomaly Detection-A Tutorial
## definition
离群点值得是，与其他观测值偏离太多，使用另外一种机制产生的观测点
## 理论知识
### 统计方法
正态分布
均值-方差
Mahalanobis distance 马氏距离
异常点在分布的尾部
缺点：
1、数据不符合正态分布，而是一个非常复杂的分布
2、均值和方差都是d。不明白
3、均值和方法都极易受到异常点影响，如果我们使用这两者寻找异常点会导致错误的结果。
### 基于距离和密度方法
#### 基于距离（K近邻）
原理：异常点都距离它的邻居极远
优缺点：
1、不用假设分布
2、适用于大数据（需要大量数据）
3、只适用于全局异常点
4、Can lead to non-intuitive results in Top-k situations（不明白）
#### 基于密度（LOF）
优缺点：
1、可识别全局或局部异常点
2、不能剪枝，复杂度 N方
3、Require a method combining the strengths of distance and density based approaches? A distance based approach which can capture density?
CDOF 看不懂
距离法中的剪枝不适用于密度法
### addressing scalability
### 复杂数据中的异常情况
### 评估方法
## 应用
### 网络入侵侦查
### 反欺诈
目标：从交易数据中识别欺诈行为或人
数据：系统中不同人间的交易事物、个人信息、隐藏的图结构
挑战：追踪人物行为或建模、竞争对手创造的异常数据、数据高维
方法：
灵活的监控
根据历史数据构建用户画像
比较当前行为和历史行为画像
聚类：
对历史数据或客户聚类
识别小欺诈团体或找出异常客户
优点：
实时
解释性强
缺点：
需建立或者囊括大量用户画像
不动态
历史数据不一定可得
异常标签少
### Epidemiological 研究
### 天气数据分析
## 异常检测在数据挖掘中的四类
### 分类
### 聚类
### 模式挖掘
### 异常检测
