python自动化分析提取随机数据
问题背景：
我们在测试性能的时候，一般会提取一组数据，但是这组数据里面会有一些异常数组，需要我们能剔除一些异常值，保证输出的数据尽量可靠，通过一些分析处理方法，可以将这一过程程序化。
如何判断一组数据是否稳定？
数学中使用方差或者标准差来表示一组数据的稳定性。如果方差或者标准差越小，说明数据分布越平均，数据的稳定性越好。
方差，标准差
但是这儿不能采用方差与标准差，因为应用的场景不同：方差与标准差是判断当前的一组数据是否稳定，并不是提取出正常的测试数据，换言之，我们需要提取的测试数据，并不是越稳定越好，我们需要的是一种正常的分布。而且方差和标准差的订多少标准比较合适，这个界限比较模糊，所以我还是建议使用中位数来界定。
下面是我提出了一个提取测试数据的方法，大家可以参考下：
先看看我们的要求：输入的数据至少20位，输出的数据10位。
这样我们一定要剔除一些过大或者过小的数据，判断的标准就是中位数。这个中位数是以平均数标识的。
下面先贴上我的处理代码：
test_camera.py
# -*- coding:UTF-8 -*-
# Author : jeffmony@163.com
# Date : 24/12/18
import sys
import numpy
# 寻找 average 在 list 中的索引位置
def findIndex( list, average ):
for index in range(len(list)):
if( list[index] < average):
continue;
return index;
return -1;
# 退出程序
def sysExit():
try:
sys.exit(0);
finally:
print 'System Exit';
# 完成工作
def sysFinsih():
try:
sys.exit(0);
finally:
print 'System Finished';
def OutputList( list , length ):
average = numpy.mean(list);
print '当前数组长度 =', length,',当前list为 =', list;
index = findIndex(list, average)
print '当前数组平均数 =',average,',当前average.index =',index;
tempList = [];
if length >= 14:
if index <= length/2+2 and index >= length/2-2:
for i in range(index -5,index):
tempList.append(list[i]);
for i in range(index, index+5):
tempList.append(list[i]);
print tempList;
sysFinsih();
elif index < length/2 -2:
list.pop(0);
OutputList(list, len(list));
elif index > length/2 +2:
list.pop();
OutputList(list, len(list));
else:
sysExit();
else:
print '当前数组异常值太多,请重新check input';
argv = sys.argv[1]
list = []
file_object = open(argv, 'rU')
try:
for line in file_object:
list.append(float(line.strip('\n')));
finally:
file_object.close()
length = len(list);
if length <= 14:
print '当前数组大小不超过14,请重新check input';
sysExit();
list.sort();
OutputList(list, length);
将需要处理的数据放在本地文本中：
test_camera.txt
1595
1465
1387
1397
1405
1376
1377
1404
1483
1522
1265
1257
1193
1200
1236
1246
1289
1208
1269
1309
下面是运行实例：
python test_camera.py test_camera.txt
当前数组长度 = 20 ,当前list为 = [1193.0, 1200.0, 1208.0, 1236.0, 1246.0, 1257.0, 1265.0, 1269.0, 1289.0, 1309.0, 1376.0, 1377.0, 1387.0, 1397.0, 1404.0, 1405.0, 1465.0, 1483.0, 1522.0, 1595.0]
当前数组平均数 = 1344.15 ,当前average.index = 10
[1257.0, 1265.0, 1269.0, 1289.0, 1309.0, 1376.0, 1377.0, 1387.0, 1397.0, 1404.0]
System Finished
python test_camera.py test_camera2.txt
当前数组长度 = 20 ,当前list为 = [9.89, 10.09, 10.99, 12.23, 12.33, 14.85, 16.02, 16.8, 17.56, 18.11, 18.24, 21.45, 21.56, 23.14, 26.71, 28.21, 34.11, 52.66, 77.22, 89.11]
当前数组平均数 = 26.564000000000004 ,当前average.index = 14
当前数组长度 = 19 ,当前list为 = [9.89, 10.09, 10.99, 12.23, 12.33, 14.85, 16.02, 16.8, 17.56, 18.11, 18.24, 21.45, 21.56, 23.14, 26.71, 28.21, 34.11, 52.66, 77.22]
当前数组平均数 = 23.272105263157897 ,当前average.index = 14
当前数组长度 = 18 ,当前list为 = [9.89, 10.09, 10.99, 12.23, 12.33, 14.85, 16.02, 16.8, 17.56, 18.11, 18.24, 21.45, 21.56, 23.14, 26.71, 28.21, 34.11, 52.66]
当前数组平均数 = 20.275000000000002 ,当前average.index = 11
[16.02, 16.8, 17.56, 18.11, 18.24, 21.45, 21.56, 23.14, 26.71, 28.21]
System Finished
上面加粗的是最终输出的数据。
这个处理方式虽然比较粗糙，但是提供了一种思路。欢迎指教。
