20 内存管理[python基础]

2020-01-21  本文已影响0人  乱弹琴给

为什么要学习内存管理

8G内存+1T硬盘:
1,执行程序时把硬盘中存放的程序的字节码读到内存中执行
计算机理论需要对内存管理进行学习,编程开发的软件会更有效率,面试会有这方面的题目,对计算机底层理论的理解决定工资高度。
面试造火箭,入职拧螺丝
2,代码更高效,程序更健壮。
3,以更快、更好的方式解决问题

8G内存如何高效分析上G的数据。
只有8G内存,为什么程序可以一直跑下去
8G内存背后,python都为我们做了什么,了解python语言的强大和巧妙
更深入理解python

赋值语句的内存分析

1,使用id()方法访问内存地址
a = 1
id(a) //返回本机内存地址1880273984

c = 5
id(c)
d = 5
id(d) //这时候c和d的地址是一样的,都是引用了一个内存地址。这时候,c = d和c is d (对比内存地址),同时为True

e = 999999999
id(e)
f = 999999999
id(f) //这时候e和f的地址不同,e=f为TRUE,e is f 为FALSE
//python对内存使用进行了优化,比较小的数字和短字符串,内存中是引用了一样的地址,比较大的在内存中是分别存放。
g = [ ]
h = [ ]
id(g)==id(h) //TRUE
id(g) is id(g) //false

x =1
y =x
id(x) is id(y) //true
y = 2
id(x) is id(y) //false 这时候y的地址发生了变化

//思考下面输出结果
def extend_list(val, l =[])
l.appedn(val)
return l

list1 = extend_list(10)
list2 = extend_list(123, [])
list3 = extend_list('a')

//结果
[10,'a']
[123]
[10,'a']
//lIst1和list3操作的是同一个地址

垃圾回收机制

1,以引用计数为主,分代收集为辅
2,如果一个对象的引用数为0,python虚拟机就会回收这个对象的内存
3,引用计数的缺陷是循环引用的问题

class Cat(object):
def int(self):
print('对象产生了:{0}'.format(id(self)))

def __del__(self):
    print('对象删除了:{0}'.format(id(self)))

def f0():
//自动回收内存,检测是否被引用的频率很快,创建下一个的同时,回收上一个
while True:
c1 = Cat()

def f1():
//一直被引用,内存不会被收回
l = [ ]
while True:
c1 = Cat()
l.append(c1)

if name == 'main':
f0()
f1()

python内存管理机制

引用计数(reference count)

1,每个对象都有存有指向该对象的引用总数
2,查看某个对象的引用计数
sys.getrefcount()
3,可以用del关键字删除某个引用

import sys

i = 1 //赋值

l = [ ] //对象引用
l2 = l
l3 = l
l5 = l
//对象l被引用的数量
print(sys.getrefcount(l))
del l2
//对象l被引用的数量
print(sys.getrefcount(l)) //getrefcount本身也会对对象有临时引用
print(sys.getrefcount(i)) //赋值和对象引用不同,它涉及内存共享问题,所以结果不是从1开始。

垃圾回收

1,满足特定条件,自动启动垃圾回收
2,当python运行时,会记录其中分配对象(object allocation)和取消分配对象(object deallocation)的次数
3,当两者的差值高于某个阈值时,垃圾回收才会启动
4,查看阈值 gc.get_threshold()

import gc

print(gc,get_threshold()) //得到一个元组(700, 10,10)

分代回收

1,python将所有对象分为0, 1,2三代
2,所有的新建对象都是0代对象
3,当某一代对象经历过垃圾回收,依然存活,那么它就被归入下一代对象

手动回收

1,gc.collect()手动回收
2,objgraph模块中的count()记录当前类产生的实例对象的个数

import gc, sys
import objgraph //第三方包,需要安装 pip install objgraph

print(gc,get_threshold())

class Persion(object)
pass

class Cat(object)
pass

p = Persion()
c = Cat()
p.name ='Susan'
p.Cat = c
c.master = p //c,p循环引用

print(sys.getrefcount(p))
print(sys.getrefcount(c))

del p
del c

//手动执行垃圾回收
gc.collect()
print(objgraph.count('Persion'))
print(objgraph.count('Cat'))

内存管理机制

1,内存池(memory pool)机制
当创建大量消耗小内存的对象时,频繁调用new/malloc会导致大量的内存碎片,致使效率降低。内存池的概念就是预先在内存中申请一定数量的,大小相等的内存块留作备用,当有新的内存需求时,就线从内存池中分配内存给这个需求,不够了之后再申请新的内存。这样做最显著的优势就是能够减少内存碎片,提升效率。

2,python3中的内存管理机制——pymalloc
针对小对象(<=512bytes),pymalloc会在内存池中申请内存空间。
当>512bytes,则会pymem_rawmalloc()和pymem_rawrealloc()来申请新的内存空间。

3,单位换算
1 Byte = 8 Bits(即 1B=8b)
1 KB = 1024 Bytes
1 MB = 1024 KB
1 GB = 1024 MB
备注:bit意为'位'或者'比特',是计算机运算的基础,属于二进制的范畴。byte意为'字节',是计算机文件大小的基本计算单位。

上一篇下一篇

猜你喜欢

热点阅读