引入算法概念+时间复杂度

2019-08-07 本文已影响0人小董不太懂

引入

先来看一道题:
如果 a+b+c=1000，且 a^2 + b^2 = c^2（a,b,c 为自然数），如何求出所有a、b、c可能的组合?

第一次尝试

import time

start_time = time.time()
for a in range(0,1001):
    for b in range(0, 1001):
        for c in range(0, 1001):
            if a**2+b**2==c**2 and a+b+c == 1000:
                print(a,b,c)
end_time = time.time()
print('elapsed:{}'.format(end_time-start_time))
print('complete!')

从程序中我们可以清晰的看出该程序是三次循环。
运行结果：

D:\anaconda\python.exe D:/bilibili大学/数据结构与算法/第一次尝试.py
0 500 500
200 375 425
375 200 425
500 0 500
elapsed:926.4351501464844
complete!

注意运行时间：926.4351501464844，相当于十五分钟了。
我的电脑cpu不行，这速度我都打完一把王者荣耀了。

算法的提出

算法的概念

算法是计算机处理信息的本质，因为计算机程序本质上是一个算法来告诉计算机确切的步骤来执行一个指定的任务。一般地，当算法在处理信息时，会从输入设备或数据的存储地址读取数据，把结果写入输出设备或某个存储地址供以后再调用。
算法是独立存在的一种解决问题的方法和思想。
对于算法而言，实现的语言并不重要，重要的是思想。
算法可以有不同的语言描述实现版本（如C描述、C++描述、Go语言，Python描述等），我们现在是在用Python语言进行描述实现。

算法的五大特性

输入: 算法具有0个或多个输入
输出: 算法至少有1个或多个输出
有穷性: 算法在有限的步骤之后会自动结束而不会无限循环，并且每一个步骤可以在可接受的时间内完成
确定性：算法中的每一步都有确定的含义，不会出现二义性
可行性：算法的每一步都是可行的，也就是说每一步都能够执行有限的次数完成

第二次尝试

import time

start_time = time.time()
#显然只有两次循环
for a in range(0,1001):
    for b in range(0, 1001):
        c = 1000 - a - b
        if a**2+b**2 == c**2 :
            print(a,b,c)
end_time = time.time()
print('elapsed:{}'.format(end_time-start_time))
print('complete!')

这次的循环次数只有两次，输出结果如下：

D:\anaconda\python.exe D:/bilibili大学/数据结构与算法/第二次尝试.py
0 500 500
200 375 425
375 200 425
500 0 500
elapsed:1.156073808670044
complete!

Process finished with exit code 0

注意运行时间：1.156073808670044，比第一次尝试的运行时间缩短了不要太多。

针对第一次尝试和第二次尝试运行的时间差距，我们有怎样的思考呢？

算法效率衡量

执行时间反应算法效率

对于同一问题，我们给出了两种解决算法，在两种算法的实现中，我们对程序执行的时间进行了测算，发现两段程序执行的时间相差悬殊（926.43秒相比于1.15秒）。
由此我们可以得出结论：实现算法程序的执行时间可以反应出算法的效率，即算法的优劣。

单靠时间值绝对可信吗？

假设我们将第二次尝试的算法程序运行在一台配置古老性能低下的计算机中，情况会如何？很可能运行的时间并不会比在我们的电脑中运行算法一的926.43秒快多少。
单纯依靠运行的时间来比较算法的优劣并不一定是客观准确的！
程序的运行离不开计算机环境（包括硬件和操作系统），这些客观原因会影响程序运行的速度并反应在程序的执行时间上。那么如何才能客观的评判一个算法的优劣呢？

时间复杂度与“大O记法”

我们假定计算机执行算法每一个基本操作的时间是固定的一个时间单位，那么有多少个基本操作就代表会花费多少时间单位。算然对于不同的机器环境而言，确切的单位时间是不同的，但是对于算法进行多少个基本操作（即花费多少时间单位）在规模数量级上却是相同的，由此可以忽略机器环境的影响而客观的反应算法的时间效率。

对于算法的时间效率，我们可以用“大O记法”来表示。

“大O记法”：对于单调的整数函数f，如果存在一个整数函数g和实常数c>0，使得对于充分大的n总有f(n)<=c*g(n)，就说函数g是f的一个渐近函数（忽略常数），记为f(n)=O(g(n))。也就是说，在趋向无穷的极限意义下，函数f的增长速度受到函数g的约束，亦即函数f与函数g的特征相似。

时间复杂度：假设存在函数g，使得算法A处理规模为n的问题示例所用时间为T(n)=O(g(n))，则称O(g(n))为算法A的渐近时间复杂度，简称时间复杂度，记为T(n)

以上是数学问题，类似于高等数学的极限，下边我会根据具体事例，具体说明。

如何理解“大O记法”

对于算法进行特别具体的细致分析虽然很好，但在实践中的实际价值有限。对于算法的时间性质和空间性质，最重要的是其数量级和趋势，这些是分析算法效率的主要部分。而计量算法基本操作数量的规模函数中那些常量因子可以忽略不计。
例如，可以认为3n^2 和 100n^2属于同一个量级，如果两个算法处理同样规模实例的代价分别为这两个函数，就认为它们的效率“差不多”，都为 n^2级。

最坏时间复杂度

分析算法时，存在几种可能的考虑：

算法完成工作最少需要多少基本操作，即最优时间复杂度
算法完成工作最多需要多少基本操作，即最坏时间复杂度
算法完成工作平均需要多少基本操作，即平均时间复杂度
对于最优时间复杂度，其价值不大，因为它没有提供什么有用信息，其反映的只是最乐观最理想的情况，没有参考价值。

对于最坏时间复杂度，提供了一种保证，表明算法在此种程度的基本操作中一定能完成工作。对于平均时间复杂度，是对算法的一个全面评价，因此它完整全面的反映了这个算法的性质。但另一方面，这种衡量并没有保证，不是每个计算都能在这个基本操作内完成。而且，对于平均情况的计算，也会因为应用算法的实例分布可能并不均匀而难以计算。
因此，我们主要关注算法的最坏情况，亦即最坏时间复杂度。

时间复杂度的几条基本计算规则

基本操作，即只有常数项，认为其时间复杂度为O(1)
顺序结构，时间复杂度按加法进行计算
循环结构，时间复杂度按乘法进行计算
分支结构，时间复杂度取最大值
判断一个算法的效率时，往往只需要关注操作数量的最高次项，其它次要项和常数项可以忽略
在没有特殊说明时，我们所分析的算法的时间复杂度都是指最坏时间复杂度

算法分析(规模设置为n)

第一次尝试的算法核心部分

for a in range(0,1001):
    for b in range(0, 1001):
        for c in range(0, 1001):
            if a**2+b**2==c**2 and a+b+c == 1000:
                print(a,b,c)

时间复杂度：
T（n） = O(n * n * n * (1 + 1)）
根据时间复杂度的规则，我们只取同等数量级（也就是极限法则），忽略常数项和次要项
故T（n） = O(n^3）
同理我们看看第二次尝试。

第二次尝试的算法核心部分

for a in range(0,1001):
    for b in range(0, 1001):
        c = 1000 - a - b
        if a**2+b**2 == c**2 :
            print(a,b,c)

时间复杂度：
T（n） = O(n * n * (1 + 1 + 1)）
根据时间复杂度的规则，我们只取同等数量级（也就是极限法则），忽略常数项和次要项
故T（n） = O(n^2）

由此可见，我们尝试的第二种算法要比第一种算法的时间复杂度好多的。

常见时间复杂度

注意，经常将log2n（以2为底的对数）简写成logn

常见时间复杂度之间的关系

所消耗的时间从小到大

练习：时间复杂度练习( 参考算法的效率规则判断 )
O(5)
O(2n + 1)
O(n²+ n + 1)
O(3n³+1)
对应的答案分别为：O(1) ，O(n) ，O(n²) ，O(n³)

Python内置类型性能分析

timeit模块

timeit模块可以用来测试一小段Python代码的执行速度。

class timeit.Timer(stmt='pass', setup='pass', timer=<timer function>)

Timer是测量小段代码执行速度的类。

stmt参数是要测试的代码语句（statment）；

setup参数是运行代码时需要的设置；

timer参数是一个定时器函数，与平台有关。

timeit.Timer.timeit(number=1000000)
Timer类中测试语句执行速度的对象方法。number参数是测试代码时的测试次数，默认为>1000000次。方法返回执行代码的平均耗时，一个float类型的秒数。

list的操作测试


def test_1():
    li = []
    for i in range(1000):
        li = li + [i]#两个列表相加才是列表，故[i]
def test_2():
    li = []
    for i in range(1000):
        li += [i]#道理同上
def test_3():
    li = []
    for i in range(1000):
        li.append(i)
def test_4():
    li = []
    li = [i for i in range(1000)]
def test_5():
    li = []
    li = list(range(1000))
def test_6():
   li = []
   for i in range(1000):
      li.extend([i])
   #extend()能接收列表和可遍历的对象，append()只能接收单个元素
def test_7():
   li = []
   for i in range(1000):
      li.insert(0,i)

import timeit

t_1 = timeit.Timer('test_1()','from __main__ import test_1')
print('li = li + [i] uses {} seconds'.format(t_1.timeit(1000)))
print('li += [i] uses {} seconds'.format(timeit.Timer('test_2()','from __main__ import test_2').timeit(1000)))
print('li.append(i) uses {} seconds'.format(timeit.Timer('test_3()','from __main__ import test_3').timeit(1000)))
print('[i for i in range(1000)] uses {} seconds'.format(timeit.Timer('test_4()','from __main__ import test_4').timeit(1000)))
print('li = list(range(1000)) uses {} seconds'.format(timeit.Timer('test_5()','from __main__ import test_5').timeit(1000)))
print('li.extend([i]) uses {} seconds'.format(timeit.Timer('test_6()','from __main__ import test_6').timeit(1000)))
print('li.insert(i) uses {} seconds'.format(timeit.Timer('test_7()','from __main__ import test_7').timeit(1000)))

输出结果：

D:\anaconda\python.exe D:/bilibili大学/数据结构与算法/list运算时间比较.py
li = li + [i] uses 1.1192282000000002 seconds
li += [i] uses 0.06146549999999995 seconds
li.append(i) uses 0.06267580000000006 seconds
[i for i in range(1000)] uses 0.025689500000000143 seconds
li = list(range(1000)) uses 0.010555199999999987 seconds
li.extend([i]) uses 0.09602200000000005 seconds
li.insert(i) uses 0.37362589999999996 seconds

Process finished with exit code 0

对比一下结果，除了li = li + [i] 我不推荐使用，其他也还行啊！
具体分别请参考：https://www.cnblogs.com/chenshichenyin/p/9363830.html

pop操作测试

import timeit
x = list(range(2000))
# print(x.pop(0))
# print(x.pop(-1))
print('x.pop(0) uses {} seconds'.format(timeit.Timer('x.pop(0)','from __main__ import x').timeit(1000)))
print('x.pop(-1) user {} seconds'.format(timeit.Timer('x.pop(-1)','from __main__ import x').timeit(1000)))
#x.pop(0)是从开头开始删除
#x.pop(-1)是从后面开始

执行结果：

D:\anaconda\python.exe D:/bilibili大学/数据结构与算法/pop函数测试.py
x.pop(0) uses 0.0002253000000000116 seconds
x.pop(-1) user 7.419999999999649e-05 seconds

Process finished with exit code 0

注意x.pop(-1)的运行用时最后是e-05

测试pop操作：从结果可以看出，pop最后一个元素的效率远远高于pop第一个元素
可以自行尝试下list的append(value)和insert(0,value),即一个后面插入和一个前面插入？？？

list内置操作的时间复杂度

针对上述表格，简要做一些说明：

Operation	Big-O Eifficiency	Interpretation
index x[ ]	O(1)	x=[1,2,3,4]，问你x [1]，x[2]等于什么
index assignment	O(1)	赋值，x = [1,2,3,4,5]，x[2]=8，x=[1, 2, 8, 4, 5]
append	O(1)	就是在队尾追加元素
pop()	O(1)	相当于尾部往外弹出元素，也就是从尾部取出元素
pop(i)	O(n)	指定位置弹出元素，考虑最坏复杂度，也就是i 在头部，从头部弹出元素，n为列表长度，故为O(n)
insert(i,item)	O(n)	标识在哪个位置上插入元素，最坏是在头部插入元素，相当于遍历了一遍，故也是O(n)
del operator	O(n)	删除要一个一个元素的删除
iteration	O(n)	这个就是迭代，类似于for循环
contains (in)	O(n)	利用 in 查看元素是否在列表内，肯定要遍历一下
get slice [x:y]	O(k)	取切片，首先定位到x的位置，这是O（1）然后x+k = y,故我们可以理解k的意思了
del slice	O(n)	删除一个切片后，后面的部分会前移，考虑最坏是切掉第一个元素，故为O(n)
set slice	O(n+k)	步骤是先删除列表中即讲被替换的部分，是O(n)，然后将切片的内容加进去，就是k个元素，所以为O（n+k）
reverse	O(n)	是列表反向输出
concatenate	O(k)	相当于两个列表相加，第二个列表有k个元素
sort	O(nlogn)	排序有关，暂且不说
multiply	O(nk)	一个列表乘一个常数k

主要要理解索引，队尾追加，弹出，插入，查找

dict内置操作的时间复杂度

针对上述表格，简要做一些说明:

Operation	Big-O Eifficiency	Interpretation
copy	O(n)	复制，把字典中所有元素再生成一遍，故O(n)
get item	O(1)	通过键，获取值
set item	O(1)	设置字典
delete tem	O(1)	删除字典键
contains(in)	O(1)	包含在字典中不需要遍历
iteration	O(n)	迭代

数据结构

我们如何用Python中的类型来保存一个班的学生信息？如果想要快速的通过学生姓名获取其信息呢？
实际上当我们在思考这个问题的时候，我们已经用到了数据结构。列表和字典都可以存储一个班的学生信息，但是想要在列表中获取一名同学的信息时，就要遍历这个列表，其时间复杂度为O(n)，而使用字典存储时，可将学生姓名作为字典的键，学生信息作为值，进而查询时不需要遍历便可快速获取到学生信息，其时间复杂度为O(1)。
我们为了解决问题，需要将数据保存下来，然后根据数据的存储方式来设计算法实现进行处理，那么数据的存储方式不同就会导致需要不同的算法进行处理。我们希望算法解决问题的效率越快越好，于是我们就需要考虑数据究竟如何保存的问题，这就是数据结构。
在上面的问题中我们可以选择Python中的列表或字典来存储学生信息。列表和字典就是Python内建帮我们封装好的两种数据结构。

概念

数据是一个抽象的概念，将其进行分类后得到程序设计语言中的基本类型。如：int，float，char等。数据元素之间不是独立的，存在特定的关系，这些关系便是结构。数据结构指数据对象中数据元素之间的关系。
Python给我们提供了很多现成的数据结构类型，这些系统自己定义好的，不需要我们自己去定义的数据结构叫做Python的内置数据结构，比如列表、元组、字典。而有些数据组织方式，Python系统里面没有直接定义，需要我们自己去定义实现这些数据的组织方式，这些数据组织方式称之为Python的扩展数据结构，比如栈，队列等。

算法与数据结构的区别

数据结构只是静态的描述了数据元素之间的关系。
高效的程序需要在数据结构的基础上设计和选择算法。
程序 = 数据结构 + 算法
总结：算法是为了解决实际问题而设计的，数据结构是算法需要处理的问题载体

抽象数据类型(Abstract Data Type)

抽象数据类型(ADT)的含义是指一个数学模型以及定义在此数学模型上的一组操作。即把数据类型和数据类型上的运算捆在一起，进行封装。引入抽象数据类型的目的是把数据类型的表示和数据类型上运算的实现与这些数据类型和运算在程序中的引用隔开，使它们相互独立。

最常用的数据运算有五种：

插入
删除
修改
查找
排序