hello-algo/docs/chapter_computational_complexity/space_complexity.md

1164 lines
25 KiB
Markdown
Executable file
Raw Blame History

This file contains ambiguous Unicode characters

This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.

# 空间复杂度
「空间复杂度 space complexity」用于衡量算法占用内存空间随着数据量变大时的增长趋势。这个概念与时间复杂度非常类似只需将“运行时间”替换为“占用内存空间”。
## 算法相关空间
算法在运行过程中使用的内存空间主要包括以下几种。
- **输入空间**:用于存储算法的输入数据。
- **暂存空间**:用于存储算法在运行过程中的变量、对象、函数上下文等数据。
- **输出空间**:用于存储算法的输出数据。
一般情况下,空间复杂度的统计范围是“暂存空间”加上“输出空间”。
暂存空间可以进一步划分为三个部分。
- **暂存数据**:用于保存算法运行过程中的各种常量、变量、对象等。
- **栈帧空间**:用于保存调用函数的上下文数据。系统在每次调用函数时都会在栈顶部创建一个栈帧,函数返回后,栈帧空间会被释放。
- **指令空间**:用于保存编译后的程序指令,在实际统计中通常忽略不计。
在分析一段程序的空间复杂度时,**我们通常统计暂存数据、栈帧空间和输出数据三部分**。
![算法使用的相关空间](space_complexity.assets/space_types.png)
=== "Python"
```python title=""
class Node:
"""类"""
def __init__(self, x: int):
self.val: int = x # 节点值
self.next: Optional[Node] = None # 指向下一节点的引用
def function() -> int:
"""函数"""
# 执行某些操作...
return 0
def algorithm(n) -> int: # 输入数据
A = 0 # 暂存数据(常量,一般用大写字母表示)
b = 0 # 暂存数据(变量)
node = Node(0) # 暂存数据(对象)
c = function() # 栈帧空间(调用函数)
return A + b + c # 输出数据
```
=== "C++"
```cpp title=""
/* 结构体 */
struct Node {
int val;
Node *next;
Node(int x) : val(x), next(nullptr) {}
};
/* 函数 */
int func() {
// 执行某些操作...
return 0;
}
int algorithm(int n) { // 输入数据
const int a = 0; // 暂存数据(常量)
int b = 0; // 暂存数据(变量)
Node* node = new Node(0); // 暂存数据(对象)
int c = func(); // 栈帧空间(调用函数)
return a + b + c; // 输出数据
}
```
=== "Java"
```java title=""
/* 类 */
class Node {
int val;
Node next;
Node(int x) { val = x; }
}
/* 函数 */
int function() {
// 执行某些操作...
return 0;
}
int algorithm(int n) { // 输入数据
final int a = 0; // 暂存数据(常量)
int b = 0; // 暂存数据(变量)
Node node = new Node(0); // 暂存数据(对象)
int c = function(); // 栈帧空间(调用函数)
return a + b + c; // 输出数据
}
```
=== "C#"
```csharp title=""
/* 类 */
class Node {
int val;
Node next;
Node(int x) { val = x; }
}
/* 函数 */
int function() {
// 执行某些操作...
return 0;
}
int algorithm(int n) { // 输入数据
const int a = 0; // 暂存数据(常量)
int b = 0; // 暂存数据(变量)
Node node = new Node(0); // 暂存数据(对象)
int c = function(); // 栈帧空间(调用函数)
return a + b + c; // 输出数据
}
```
=== "Go"
```go title=""
/* 结构体 */
type node struct {
val int
next *node
}
/* 创建 node 结构体 */
func newNode(val int) *node {
return &node{val: val}
}
/* 函数 */
func function() int {
// 执行某些操作...
return 0
}
func algorithm(n int) int { // 输入数据
const a = 0 // 暂存数据(常量)
b := 0 // 暂存数据(变量)
newNode(0) // 暂存数据(对象)
c := function() // 栈帧空间(调用函数)
return a + b + c // 输出数据
}
```
=== "Swift"
```swift title=""
/* 类 */
class Node {
var val: Int
var next: Node?
init(x: Int) {
val = x
}
}
/* 函数 */
func function() -> Int {
// 执行某些操作...
return 0
}
func algorithm(n: Int) -> Int { // 输入数据
let a = 0 // 暂存数据(常量)
var b = 0 // 暂存数据(变量)
let node = Node(x: 0) // 暂存数据(对象)
let c = function() // 栈帧空间(调用函数)
return a + b + c // 输出数据
}
```
=== "JS"
```javascript title=""
/* 类 */
class Node {
val;
next;
constructor(val) {
this.val = val === undefined ? 0 : val; // 节点值
this.next = null; // 指向下一节点的引用
}
}
/* 函数 */
function constFunc() {
// 执行某些操作
return 0;
}
function algorithm(n) { // 输入数据
const a = 0; // 暂存数据(常量)
let b = 0; // 暂存数据(变量)
const node = new Node(0); // 暂存数据(对象)
const c = constFunc(); // 栈帧空间(调用函数)
return a + b + c; // 输出数据
}
```
=== "TS"
```typescript title=""
/* 类 */
class Node {
val: number;
next: Node | null;
constructor(val?: number) {
this.val = val === undefined ? 0 : val; // 节点值
this.next = null; // 指向下一节点的引用
}
}
/* 函数 */
function constFunc(): number {
// 执行某些操作
return 0;
}
function algorithm(n: number): number { // 输入数据
const a = 0; // 暂存数据(常量)
let b = 0; // 暂存数据(变量)
const node = new Node(0); // 暂存数据(对象)
const c = constFunc(); // 栈帧空间(调用函数)
return a + b + c; // 输出数据
}
```
=== "Dart"
```dart title=""
/* 类 */
class Node {
int val;
Node next;
Node(this.val, [this.next]);
}
/* 函数 */
int function() {
// 执行某些操作...
return 0;
}
int algorithm(int n) { // 输入数据
const int a = 0; // 暂存数据(常量)
int b = 0; // 暂存数据(变量)
Node node = Node(0); // 暂存数据(对象)
int c = function(); // 栈帧空间(调用函数)
return a + b + c; // 输出数据
}
```
=== "Rust"
```rust title=""
```
=== "C"
```c title=""
/* 函数 */
int func() {
// 执行某些操作...
return 0;
}
int algorithm(int n) { // 输入数据
const int a = 0; // 暂存数据(常量)
int b = 0; // 暂存数据(变量)
int c = func(); // 栈帧空间(调用函数)
return a + b + c; // 输出数据
}
```
=== "Zig"
```zig title=""
```
## 推算方法
空间复杂度的推算方法与时间复杂度大致相同,只需将统计对象从“操作数量”转为“使用空间大小”。
而与时间复杂度不同的是,**我们通常只关注最差空间复杂度**。这是因为内存空间是一项硬性要求,我们必须确保在所有输入数据下都有足够的内存空间预留。
观察以下代码,最差空间复杂度中的“最差”有两层含义。
1. **以最差输入数据为准**:当 $n < 10$ 空间复杂度为 $O(1)$ 但当 $n > 10$ 时,初始化的数组 `nums` 占用 $O(n)$ 空间;因此最差空间复杂度为 $O(n)$ 。
2. **以算法运行中的峰值内存为准**:例如,程序在执行最后一行之前,占用 $O(1)$ 空间;当初始化数组 `nums` 时,程序占用 $O(n)$ 空间;因此最差空间复杂度为 $O(n)$ 。
=== "Python"
```python title=""
def algorithm(n: int):
a = 0 # O(1)
b = [0] * 10000 # O(1)
if n > 10:
nums = [0] * n # O(n)
```
=== "C++"
```cpp title=""
void algorithm(int n) {
int a = 0; // O(1)
vector<int> b(10000); // O(1)
if (n > 10)
vector<int> nums(n); // O(n)
}
```
=== "Java"
```java title=""
void algorithm(int n) {
int a = 0; // O(1)
int[] b = new int[10000]; // O(1)
if (n > 10)
int[] nums = new int[n]; // O(n)
}
```
=== "C#"
```csharp title=""
void algorithm(int n) {
int a = 0; // O(1)
int[] b = new int[10000]; // O(1)
if (n > 10) {
int[] nums = new int[n]; // O(n)
}
}
```
=== "Go"
```go title=""
func algorithm(n int) {
a := 0 // O(1)
b := make([]int, 10000) // O(1)
var nums []int
if n > 10 {
nums := make([]int, n) // O(n)
}
fmt.Println(a, b, nums)
}
```
=== "Swift"
```swift title=""
func algorithm(n: Int) {
let a = 0 // O(1)
let b = Array(repeating: 0, count: 10000) // O(1)
if n > 10 {
let nums = Array(repeating: 0, count: n) // O(n)
}
}
```
=== "JS"
```javascript title=""
function algorithm(n) {
const a = 0; // O(1)
const b = new Array(10000); // O(1)
if (n > 10) {
const nums = new Array(n); // O(n)
}
}
```
=== "TS"
```typescript title=""
function algorithm(n: number): void {
const a = 0; // O(1)
const b = new Array(10000); // O(1)
if (n > 10) {
const nums = new Array(n); // O(n)
}
}
```
=== "Dart"
```dart title=""
void algorithm(int n) {
int a = 0; // O(1)
List<int> b = List.filled(10000, 0); // O(1)
if (n > 10) {
List<int> nums = List.filled(n, 0); // O(n)
}
}
```
=== "Rust"
```rust title=""
```
=== "C"
```c title=""
void algorithm(int n) {
int a = 0; // O(1)
int b[10000]; // O(1)
if (n > 10)
int nums[n] = {0}; // O(n)
}
```
=== "Zig"
```zig title=""
```
**在递归函数中,需要注意统计栈帧空间**。例如在以下代码中:
- 函数 `loop()` 在循环中调用了 $n$ 次 `function()` ,每轮中的 `function()` 都返回并释放了栈帧空间,因此空间复杂度仍为 $O(1)$ 。
- 递归函数 `recur()` 在运行过程中会同时存在 $n$ 个未返回的 `recur()` ,从而占用 $O(n)$ 的栈帧空间。
=== "Python"
```python title=""
def function() -> int:
# 执行某些操作
return 0
def loop(n: int):
"""循环 O(1)"""
for _ in range(n):
function()
def recur(n: int) -> int:
"""递归 O(n)"""
if n == 1: return
return recur(n - 1)
```
=== "C++"
```cpp title=""
int func() {
// 执行某些操作
return 0;
}
/* 循环 O(1) */
void loop(int n) {
for (int i = 0; i < n; i++) {
func();
}
}
/* 递归 O(n) */
void recur(int n) {
if (n == 1) return;
return recur(n - 1);
}
```
=== "Java"
```java title=""
int function() {
// 执行某些操作
return 0;
}
/* 循环 O(1) */
void loop(int n) {
for (int i = 0; i < n; i++) {
function();
}
}
/* 递归 O(n) */
void recur(int n) {
if (n == 1) return;
return recur(n - 1);
}
```
=== "C#"
```csharp title=""
int function() {
// 执行某些操作
return 0;
}
/* 循环 O(1) */
void loop(int n) {
for (int i = 0; i < n; i++) {
function();
}
}
/* 递归 O(n) */
int recur(int n) {
if (n == 1) return 1;
return recur(n - 1);
}
```
=== "Go"
```go title=""
func function() int {
// 执行某些操作
return 0
}
/* 循环 O(1) */
func loop(n int) {
for i := 0; i < n; i++ {
function()
}
}
/* 递归 O(n) */
func recur(n int) {
if n == 1 {
return
}
recur(n - 1)
}
```
=== "Swift"
```swift title=""
@discardableResult
func function() -> Int {
// 执行某些操作
return 0
}
/* 循环 O(1) */
func loop(n: Int) {
for _ in 0 ..< n {
function()
}
}
/* 递归 O(n) */
func recur(n: Int) {
if n == 1 {
return
}
recur(n: n - 1)
}
```
=== "JS"
```javascript title=""
function constFunc() {
// 执行某些操作
return 0;
}
/* 循环 O(1) */
function loop(n) {
for (let i = 0; i < n; i++) {
constFunc();
}
}
/* 递归 O(n) */
function recur(n) {
if (n === 1) return;
return recur(n - 1);
}
```
=== "TS"
```typescript title=""
function constFunc(): number {
// 执行某些操作
return 0;
}
/* 循环 O(1) */
function loop(n: number): void {
for (let i = 0; i < n; i++) {
constFunc();
}
}
/* 递归 O(n) */
function recur(n: number): void {
if (n === 1) return;
return recur(n - 1);
}
```
=== "Dart"
```dart title=""
int function() {
// 执行某些操作
return 0;
}
/* 循环 O(1) */
void loop(int n) {
for (int i = 0; i < n; i++) {
function();
}
}
/* 递归 O(n) */
void recur(int n) {
if (n == 1) return;
return recur(n - 1);
}
```
=== "Rust"
```rust title=""
```
=== "C"
```c title=""
int func() {
// 执行某些操作
return 0;
}
/* 循环 O(1) */
void loop(int n) {
for (int i = 0; i < n; i++) {
func();
}
}
/* 递归 O(n) */
void recur(int n) {
if (n == 1) return;
return recur(n - 1);
}
```
=== "Zig"
```zig title=""
```
## 常见类型
设输入数据大小为 $n$ 下图展示了常见的空间复杂度类型从低到高排列)。
$$
\begin{aligned}
O(1) < O(\log n) < O(n) < O(n^2) < O(2^n) \newline
\text{常数阶} < \text{对数阶} < \text{线性阶} < \text{平方阶} < \text{指数阶}
\end{aligned}
$$
![常见的空间复杂度类型](space_complexity.assets/space_complexity_common_types.png)
### 常数阶 $O(1)$
常数阶常见于数量与输入数据大小 $n$ 无关的常量变量对象
需要注意的是在循环中初始化变量或调用函数而占用的内存在进入下一循环后就会被释放因此不会累积占用空间空间复杂度仍为 $O(1)$
=== "Python"
```python title="space_complexity.py"
[class]{}-[func]{function}
[class]{}-[func]{constant}
```
=== "C++"
```cpp title="space_complexity.cpp"
[class]{}-[func]{func}
[class]{}-[func]{constant}
```
=== "Java"
```java title="space_complexity.java"
[class]{space_complexity}-[func]{function}
[class]{space_complexity}-[func]{constant}
```
=== "C#"
```csharp title="space_complexity.cs"
[class]{space_complexity}-[func]{function}
[class]{space_complexity}-[func]{constant}
```
=== "Go"
```go title="space_complexity.go"
[class]{}-[func]{function}
[class]{}-[func]{spaceConstant}
```
=== "Swift"
```swift title="space_complexity.swift"
[class]{}-[func]{function}
[class]{}-[func]{constant}
```
=== "JS"
```javascript title="space_complexity.js"
[class]{}-[func]{constFunc}
[class]{}-[func]{constant}
```
=== "TS"
```typescript title="space_complexity.ts"
[class]{}-[func]{constFunc}
[class]{}-[func]{constant}
```
=== "Dart"
```dart title="space_complexity.dart"
[class]{}-[func]{function}
[class]{}-[func]{constant}
```
=== "Rust"
```rust title="space_complexity.rs"
[class]{}-[func]{function}
[class]{}-[func]{constant}
```
=== "C"
```c title="space_complexity.c"
[class]{}-[func]{func}
[class]{}-[func]{constant}
```
=== "Zig"
```zig title="space_complexity.zig"
[class]{}-[func]{function}
[class]{}-[func]{constant}
```
### 线性阶 $O(n)$
线性阶常见于元素数量与 $n$ 成正比的数组链表队列等
=== "Python"
```python title="space_complexity.py"
[class]{}-[func]{linear}
```
=== "C++"
```cpp title="space_complexity.cpp"
[class]{}-[func]{linear}
```
=== "Java"
```java title="space_complexity.java"
[class]{space_complexity}-[func]{linear}
```
=== "C#"
```csharp title="space_complexity.cs"
[class]{space_complexity}-[func]{linear}
```
=== "Go"
```go title="space_complexity.go"
[class]{}-[func]{spaceLinear}
```
=== "Swift"
```swift title="space_complexity.swift"
[class]{}-[func]{linear}
```
=== "JS"
```javascript title="space_complexity.js"
[class]{}-[func]{linear}
```
=== "TS"
```typescript title="space_complexity.ts"
[class]{}-[func]{linear}
```
=== "Dart"
```dart title="space_complexity.dart"
[class]{}-[func]{linear}
```
=== "Rust"
```rust title="space_complexity.rs"
[class]{}-[func]{linear}
```
=== "C"
```c title="space_complexity.c"
[class]{hashTable}-[func]{}
[class]{}-[func]{linear}
```
=== "Zig"
```zig title="space_complexity.zig"
[class]{}-[func]{linear}
```
如下图所示此函数的递归深度为 $n$ 即同时存在 $n$ 个未返回的 `linear_recur()` 函数使用 $O(n)$ 大小的栈帧空间
=== "Python"
```python title="space_complexity.py"
[class]{}-[func]{linear_recur}
```
=== "C++"
```cpp title="space_complexity.cpp"
[class]{}-[func]{linearRecur}
```
=== "Java"
```java title="space_complexity.java"
[class]{space_complexity}-[func]{linearRecur}
```
=== "C#"
```csharp title="space_complexity.cs"
[class]{space_complexity}-[func]{linearRecur}
```
=== "Go"
```go title="space_complexity.go"
[class]{}-[func]{spaceLinearRecur}
```
=== "Swift"
```swift title="space_complexity.swift"
[class]{}-[func]{linearRecur}
```
=== "JS"
```javascript title="space_complexity.js"
[class]{}-[func]{linearRecur}
```
=== "TS"
```typescript title="space_complexity.ts"
[class]{}-[func]{linearRecur}
```
=== "Dart"
```dart title="space_complexity.dart"
[class]{}-[func]{linearRecur}
```
=== "Rust"
```rust title="space_complexity.rs"
[class]{}-[func]{linear_recur}
```
=== "C"
```c title="space_complexity.c"
[class]{}-[func]{linearRecur}
```
=== "Zig"
```zig title="space_complexity.zig"
[class]{}-[func]{linearRecur}
```
![递归函数产生的线性阶空间复杂度](space_complexity.assets/space_complexity_recursive_linear.png)
### 平方阶 $O(n^2)$
平方阶常见于矩阵和图元素数量与 $n$ 成平方关系
=== "Python"
```python title="space_complexity.py"
[class]{}-[func]{quadratic}
```
=== "C++"
```cpp title="space_complexity.cpp"
[class]{}-[func]{quadratic}
```
=== "Java"
```java title="space_complexity.java"
[class]{space_complexity}-[func]{quadratic}
```
=== "C#"
```csharp title="space_complexity.cs"
[class]{space_complexity}-[func]{quadratic}
```
=== "Go"
```go title="space_complexity.go"
[class]{}-[func]{spaceQuadratic}
```
=== "Swift"
```swift title="space_complexity.swift"
[class]{}-[func]{quadratic}
```
=== "JS"
```javascript title="space_complexity.js"
[class]{}-[func]{quadratic}
```
=== "TS"
```typescript title="space_complexity.ts"
[class]{}-[func]{quadratic}
```
=== "Dart"
```dart title="space_complexity.dart"
[class]{}-[func]{quadratic}
```
=== "Rust"
```rust title="space_complexity.rs"
[class]{}-[func]{quadratic}
```
=== "C"
```c title="space_complexity.c"
[class]{}-[func]{quadratic}
```
=== "Zig"
```zig title="space_complexity.zig"
[class]{}-[func]{quadratic}
```
如下图所示该函数的递归深度为 $n$ 在每个递归函数中都初始化了一个数组长度分别为 $n$、$n-1$、$\dots$、$2$、$1$ 平均长度为 $n / 2$ 因此总体占用 $O(n^2)$ 空间
=== "Python"
```python title="space_complexity.py"
[class]{}-[func]{quadratic_recur}
```
=== "C++"
```cpp title="space_complexity.cpp"
[class]{}-[func]{quadraticRecur}
```
=== "Java"
```java title="space_complexity.java"
[class]{space_complexity}-[func]{quadraticRecur}
```
=== "C#"
```csharp title="space_complexity.cs"
[class]{space_complexity}-[func]{quadraticRecur}
```
=== "Go"
```go title="space_complexity.go"
[class]{}-[func]{spaceQuadraticRecur}
```
=== "Swift"
```swift title="space_complexity.swift"
[class]{}-[func]{quadraticRecur}
```
=== "JS"
```javascript title="space_complexity.js"
[class]{}-[func]{quadraticRecur}
```
=== "TS"
```typescript title="space_complexity.ts"
[class]{}-[func]{quadraticRecur}
```
=== "Dart"
```dart title="space_complexity.dart"
[class]{}-[func]{quadraticRecur}
```
=== "Rust"
```rust title="space_complexity.rs"
[class]{}-[func]{quadratic_recur}
```
=== "C"
```c title="space_complexity.c"
[class]{}-[func]{quadraticRecur}
```
=== "Zig"
```zig title="space_complexity.zig"
[class]{}-[func]{quadraticRecur}
```
![递归函数产生的平方阶空间复杂度](space_complexity.assets/space_complexity_recursive_quadratic.png)
### 指数阶 $O(2^n)$
指数阶常见于二叉树观察下图高度为 $n$ 满二叉树的节点数量为 $2^n - 1$ 占用 $O(2^n)$ 空间
=== "Python"
```python title="space_complexity.py"
[class]{}-[func]{build_tree}
```
=== "C++"
```cpp title="space_complexity.cpp"
[class]{}-[func]{buildTree}
```
=== "Java"
```java title="space_complexity.java"
[class]{space_complexity}-[func]{buildTree}
```
=== "C#"
```csharp title="space_complexity.cs"
[class]{space_complexity}-[func]{buildTree}
```
=== "Go"
```go title="space_complexity.go"
[class]{}-[func]{buildTree}
```
=== "Swift"
```swift title="space_complexity.swift"
[class]{}-[func]{buildTree}
```
=== "JS"
```javascript title="space_complexity.js"
[class]{}-[func]{buildTree}
```
=== "TS"
```typescript title="space_complexity.ts"
[class]{}-[func]{buildTree}
```
=== "Dart"
```dart title="space_complexity.dart"
[class]{}-[func]{buildTree}
```
=== "Rust"
```rust title="space_complexity.rs"
[class]{}-[func]{build_tree}
```
=== "C"
```c title="space_complexity.c"
[class]{}-[func]{buildTree}
```
=== "Zig"
```zig title="space_complexity.zig"
[class]{}-[func]{buildTree}
```
![满二叉树产生的指数阶空间复杂度](space_complexity.assets/space_complexity_exponential.png)
### 对数阶 $O(\log n)$
对数阶常见于分治算法例如归并排序输入长度为 $n$ 的数组每轮递归将数组从中点划分为两半形成高度为 $\log n$ 的递归树使用 $O(\log n)$ 栈帧空间
再例如将数字转化为字符串输入一个正整数 $n$ 它的位数为 $\log_{10} n + 1$ 即对应字符串长度为 $\log_{10} n + 1$ 因此空间复杂度为 $O(\log_{10} n + 1) = O(\log n)$
## 权衡时间与空间
理想情况下我们希望算法的时间复杂度和空间复杂度都能达到最优然而在实际情况中同时优化时间复杂度和空间复杂度通常是非常困难的
**降低时间复杂度通常需要以提升空间复杂度为代价,反之亦然**我们将牺牲内存空间来提升算法运行速度的思路称为以空间换时间”;反之则称为以时间换空间”。
选择哪种思路取决于我们更看重哪个方面在大多数情况下时间比空间更宝贵因此以空间换时间通常是更常用的策略当然在数据量很大的情况下控制空间复杂度也是非常重要的