Python/Numpy的一些高级用法（个人笔记）

Python/numpy 常用与高级用法总结（实时更新）
开始在商汤做算法研究员后，工作中要写大量python，但因为一直以来习惯C/C++的写法，经常在程序中使用for循环。然而python作为动态语言，不像C++有编译器能对大循环有全局的智能并行优化，而是会低效率地反复对循环部分内容逐行编译运行，导致在一些大循环里速度极慢，也导致我刚开始一段时间写的代码一直被同事和老板吐槽。

后来才慢慢学会了用numpy，numpy的功能非常丰富，在算法实现中大部分的需求都有已经封装好的函数，且都是做好底层加速优化的，运行速度也非常快。
在研究员的工作中，numpy用的好坏直接决定了代码的质量与工作效率的高低，因此写了这篇博客，来记录平时工作中发现的一些好用的python/numpy用法。

1、求数列中，数值等于某个值的所有数字的位置：np.nonzero

a=np.array([0, 1, 2, 1, 1, 3, 4, 1, 5])
np.nonzero(a==1)
Out[15]: (array([1, 3, 4, 7], dtype=int64),)  #就找到了array a中所有等于1的元素位置

nonzero是很常用的函数，比如对一批数据聚类后，得到一个prediction label列表，我们希望把聚为同一类的对象拿出来看看，就要用到这个nonzero找到同为某个label的元素在list中的位置)
要注意直接使用nonzero返回的是一个tuple类型，如果希望得到array结果，记得加上[0]的索引

np.nonzero(a==1)[0]
Out[16]: array([1, 3, 4, 7], dtype=int64)

2、np.intersect1d #待更新
3、np.argwhere
4、np.where
5、np.argsort
6、np.sum
7、np.mean np.mean(axis=1)
8、np.newaxis
9、Np.where(np.isin)

2、生成空的带有一定shape的array，np.empty：
很多时候需要设置一个起始的空数组，在后面循环的时候将新的数组合并进来，但是直接np.array（[]）生成的数组如果直接和后续数据用拼接concatenate操作的话，会报错dimension对不上，

>>> a
array([], dtype=float64)
>>> b
array([[1, 2],
       [2, 5]])
>>> np.concatenate((a,b))
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
ValueError: all the input arrays must have same number of dimensions

此时就需要用np.empty,就能生成带有一定shape的空array，避免维度不对应的报错。

>>> a=np.empty((0,2),np.int)

生成升序数列np.arrange

np.arange(4)
Out[5]: array([0, 1, 2, 3])

等分数组np.split
不过只能均分一个数组，如果需要按个数分割数组，可能还得自行用for循环。

np.split(np.arange(8),4)
Out[19]: [array([0, 1]), array([2, 3]), array([4, 5]), array([6, 7])]

python部分
assert报错函数
assert（条件）
如果条件满足，则正常运行，如果不满足，则报错退出

打印日志sys.stdout（建议Logger写法）
如果想要同时输出日志到控制台与Log文件中，可以先定义logger类,包含两个成员console,out_dir,

class logger(object):
    def __init__(self, fpath):
        self.console = sys.stdout
        self.file = fpath

然后在主程序中让sys.stdout等于此对象即可

import sys
sys.stdout = logger(‘your log path’)

绝对引入
为了防止一些自己写的脚本与系统默认的包重名，导致无法引入的情况，比如：
你的脚本目录有一个文件名为math，你想要import这个math文件，然而由于python库中有同名的math包，这样总是会优先import系统默认的math，此时就需要声明绝对引入，这样引入自己脚本时，就需要明确写出完整的from路径，而系统的包则直接import即可

from __future__ import absolute_import

内存回收
虽说python通常不需要内存管理，当一块内存没有变量指向的引用时，python会有某种逻辑在一定条件下回自动回收这块内存，然而使用python脚本处理大规模数据时，单纯使用del 去删除引用，内存块不会被即时回收掉，导致一定概率内存溢出从而进程被kill。

a=np.array([1, 2, 3, 4])
id(a)
Out[35]: 1812623222304     #获得地址
ctypes.cast(1812623222304,ctypes.py_object).value    #取得地址指向的内存
Out[36]: array([1, 2, 3, 4])
del a        #删除内存指向的指针，让这块内存没有指针指向
ctypes.cast(1812623222304,ctypes.py_object).value
Out[38]: array([1, 2, 3, 4])          #结果发现a被del了，然而这块内存依然没有释放

实际上，经过个人的测试，python的自动内存回收逻辑大概是：当系统内存不停被占用，直到可用内存低于某一临界值后，才会开始内存回收，对没有引用的内存块执行回收动作；

然而处理超大规模数据时，往往内存来不及回收完，大量读入的新数据导致爆内存，从而进程被kill，此时可以考虑手动回收内存（gc模块），就能及时回收内存

import gc
a=np.array([1, 2, 3, 4])
del a
gc.collect()

args 参数说明：
action='store_true'
parser.add_argument('--t', help=' ', action='store_true', default=False)
即当运行时，此变量有传参，就设为True