程序猿必修课之数据结构（二）算法和算法的复杂度
原文出自：http://www.jianshu.com/p/d72d4c9e90c6
算法
算法是解决特定问题求解步骤的描述，在计算机中表现为指令的有限序列，并且每条指令表示一个或多个操作。
算法的特性
算法具有五个基本特性：输入、输出、有穷性、确定性、可行性。
算法设计的要求
好的算法，应该具有：正确性、可读性、健壮性、高效率和低存储量的特征。
函数的渐近增长
输入规模 n 在没有限制的情况下，只要超过一个数值 N， 这个函数就总是大于另一个函数，我们称函数是渐近增长的。
给定两个函数 f(n) 和 g(n), 如果存在一个整数 N，使得对于所有的 n > N, f(n) 总是比 g(n) 大，那么我们说 f(n) 的增长渐近快于 g(n)。
算法时间复杂度
在进行算法分析时，语句总的执行次数 T(n) 是关于问题规模 n 的函数，进而分析 T(n) 随 n 的变化情况并确定 T(n) 的数量级。算法的时间复杂度，也就是算法的时间量度，记作：T(n) = O(f(n))。它表示随问题规模 n 的增大，算法执行时间的增长率和 f(n) 的增长率相同，称为算法的渐近时间复杂度，简称为时间复杂度。其中 f(n) 是规模 n 的某个函数。
用 O() 来体现算法时间复杂度的记法，叫作大 O 记法。
推导大 O 阶方法
- 用常数 1 取代运行时间中的所有加法常数。
- 在修改后的运行次数函数中，只保留最高阶项。
- 如果最高阶项存在且不是 1 ，则去除与这个项相乘的常数。
常数阶
高斯算法
int sum = 0, n = 100; // 执行 1 次
sum = (1 + n) * n / 2; // 执行 1 次
printf("%d", sum); // 执行 1 次
这个算法的运行次数函数是 f(n) = 3。根据推导大 O 阶的方法，第一步把常数项 3 改为 1。第二步保留最高阶项，它没有最高阶项，所以这个算法的时间复杂度为 T(n) = O(1)。
当 n = 1 时，算法执行次数为 3， 当 n = 100时，算法的执行次数还是 3，所以我们可以看出这个算法的执行次数与 n 的规模没关系。我们把这种与问题的大小（n 的大小）无关，执行时间恒定的算法， 叫作常数阶。
对于分支结构，无论是真还是假，执行的次数都是恒定的，不会随着 n 的变化而变化，所以单纯的分支结构（不包含在循环结构中），其时间复杂度也是 O(1)。
线性阶
下面这段代码的时间复杂度为 O(n),因为循环体中的代码必须要执行 n 次。
int i;
for (i = 0; i < n; i++) {
/* 时间复杂度为 O(1) 的程序步骤序列 */
}
对数阶
int count = 1;
while (count < n) {
count = count * 2;
/* 时间复杂度为 O(1) 的程序步骤序列 */
}
由于每次 count 乘以 2 以后，就越来越接近于 n，也就是说有多少个 2 相乘后大于 n，则会退出循环。由 2x = n 等到 x = log2n。所以这个算法的时间复杂度为 T(n) = O(logn)。
平方阶
这是一个循环嵌套的代码。
int i, j;
for (i = 0; i < n; i++) {
for (j = 0; j < n; j++) {
/* 时间复杂度为 O(1) 的程序步骤序列 */
}
}
它的内循环我们已经知道，时间复杂度为 O(n)，而对于外层的循环，不过是内部这个时间复杂度为 O(n) 的语句，再循环 n 次。所以这段代码的时间复杂度为 O(n2)
如果外循环的次数改为了 m，时间复杂度就变为 O(m*n)。
int i, j， m;
for (i = 0; i < m; i++) {
for (j = 0; j < n; j++) {
/* 时间复杂度为 O(1) 的程序步骤序列 */
}
}
所以我们可以总结得出，循环的时间复杂度等于循环体的复杂度乘以该循环运行的次数。
下面这个循环嵌套，它的时间复杂度是多少呢？
int i, j;
for (i = 0; i < n; i++) {
for (j = i; j < n; j++) { // 注意 j = i 而不是 0
/* 时间复杂度为 O(1) 的程序步骤序列 */
}
}
由于当 i = 0 时，内循环执行了 n 次，当 i = 1 时，执行了 n -1 次，…… 当 i = n - 1 时，执行了 1 次。所以部的执行次数为：
n + (n-1) + (n-2) + …… + 1 = n(n+1)/2 = n2/2 + n/2。
用我们推导大 O 阶的方法，第一条，没有加法常数不考虑；第二条，只保留最高阶项，因此保留 n2/2；第三条，去除这个项相乘的常数，也就是去除 1/2， 最终这个算法的时间复杂度为 T(n) = O(n2)
常见的时间复杂度
| 阶 | 非正式术语 |
|---|---|
| O(1) | 常数阶 |
| O(n) | 线性阶 |
| O(n2) | 平方阶 |
| O(logn) | 对数阶 |
| O(nlogn) | nlogn阶 |
| O(n3) | 立方阶 |
| O(2n) | 指数阶 |
常用的时间复杂度所耗费的时间从小到大依次是：
O(1) < O(logn) < O(n) < O(nlogn) < O(n2) < O(n3) < O(2n) < O(n!) < O(nn)
算法空间复杂度
算法的空间复杂度通过计算算法所需的存储空间实现，算法空间复杂度的计算公式：S(n) = O(f(n)),其中 n 为问题的规模，f(n)为语句关于 n 所占存储空间的函数。
总结
- 算法是解决特定问题求解步骤的描述，在计算机中为指令的有限序列，并且每条指令表示一个或多个操作。
- 算法的特性：有穷性、确定性、可行性、输入、输出。
- 算法的设计要求：正确性、可读性、健壮性、高效率和低存储量需求。
