tip:进程、线程、协程实际上都是为并发而生。
但是他们的各自的模样是完全不一致的,下面我们来分析一下他们各自的特点和关系。
本文不重点介绍什么是进程和线程,而是提炼进程、线程、协程干货。且是基于Linux下的进程、线程解释
1.进程内存
进程,可执行程序运行中形成一个独立的内存体,这个内存体有自己独立的地址空间(Linux会给每个进程分配一个虚拟内存空间,32位操作系统为4G, 64位为很多T),有自己的堆,上级挂靠单位是操作系统。操作系统会以进程为单位,分配系统资源(CPU时间片、内存等资源),进程是资源分配的最小单位。
2.线程内存
线程,有时被称为轻量级进程(Lightweight Process,LWP),是操作系统调度(CPU调度)执行的最小单位。
多个线程共同“寄生”在一个进程上,除了拥有各自的栈空间,其他的内存空间都是一起共享。所以由于这个特性,使得线程之间的内存关联性很大,互相通信就很简单(堆区、全局区等数据都共享,需要加锁机制即可完成同步通信),但是同时也让线程之间生命体联系较大,比如一个线程出问题,到底进程问题,也就导致了其他线程问题。
3.执行单元
对于Linux来讲,不区分进程还是线程,他们都是一个单独的执行单位,CPU一视同仁,均分配时间片。
所以,如果一个进程想更大程度的与其他进程抢占CPU的资源,那么多开线程是一个好的办法。
1个线程执行单元3个线程执行单元
4.切换问题与协程
4.1切换问题
我们通过上述的描述,可以知道,线程越多,进程利用(或者)抢占的cpu资源就越高。
执行单元
线程执行流程执行单元
4.2协程
伪执行单元协程
5.协程的切换成本
5.1协程切换比线程切换快
协程切换比线程切换快主要有两点:
(1)协程切换完全在用户空间进行,线程切换涉及特权模式切换,需要在内核空间完成;
(2)协程切换相比线程切换做的事情更少,线程需要有内核和用户态的切换,系统调用过程。
5.2协程切换成本
协程切换成本:
协程切换非常简单,就是把当前协程的 CPU 寄存器状态保存起来,然后将需要切换进来的协程的 CPU 寄存器状态加载的 CPU 寄存器上就 ok 了。而且完全在用户态进行,一般来说一次协程上下文切换最多就是几十ns 这个量级。
5.3线程切换成本
线程切换成本:
系统内核调度的对象是线程,因为线程是调度的基本单元(进程是资源拥有的基本单元,进程的切换需要做的事情更多,这里占时不讨论进程切换),而线程的调度只有拥有最高权限的内核空间才可以完成,所以线程的切换涉及到用户空间和内核空间的切换,也就是特权模式切换,然后需要操作系统调度模块完成线程调度(task*struct),*而且除了和协程相同基本的 CPU 上下文,还有线程私有的栈和寄存器等,说白了就是上下文比协程多一些,其实简单比较下 task_strcut 和 任何一个协程库的 coroutine 的 struct 结构体大小就能明显区分出来。而且特权模式切换的开销确实不小,随便搜一组测试数据 [3],随便算算都比协程切换开销大很多。
6.其他
6.1进程占用多少内存
进程占用多少内存?
4g
6.2线程占用多少内存
线程占用多少内存?
线程跟不同的操作系统版本有有差异
$ulimit -s
8192
kb
线程基本都是维持Mb的量级单位,一般是4~64Mb不等, 多数维持约10M上下
6.3协程占用多少内存
协程占用多少内存?
测试环境
$ more /proc/cpuinfo | grep "model name"
model name : Intel(R) Core(TM) i7-5775R CPU @ 3.30GHz
model name : Intel(R) Core(TM) i7-5775R CPU @ 3.30GHz
(2个CPU )
$ grep MemTotal /proc/meminfo
MemTotal: 2017516 kB
(2G内存)
$ getconf LONG_BIT
64
(64位操作系统)
$ uname -a
Linux ubuntu 4.15.0-91-generic #92-Ubuntu SMP Fri Feb 28 11:09:48 UTC 2020 x86_64 x86_64 x86_64 GNU/Linux
测试程序
package main
import (
"time"
)
func main() {
for i := 0; i < 200000; i++ {
go func() {
time.Sleep(5 * time.Second)
}()
}
time.Sleep(10 * time.Second)
}
程序运行前
free的mem为1163524,
top - 00:16:24 up 7:08, 1 user, load average: 0.08, 0.03, 0.01
任务: 288 total, 1 running, 218 sleeping, 0 stopped, 0 zombie
%Cpu0 : 0.0 us, 0.0 sy, 0.0 ni,100.0 id, 0.0 wa, 0.0 hi, 0.0 si, 0.0 st
%Cpu1 : 0.3 us, 0.3 sy, 0.0 ni, 99.3 id, 0.0 wa, 0.0 hi, 0.0 si, 0.0 st
KiB Mem : 2017516 total, 593836 free, 1163524 used, 260156 buff/cache
KiB Swap: 969960 total, 574184 free, 395776 used. 679520 avail Mem
程序运行中
free的mem为1675844,
top - 00:17:12 up 7:09, 1 user, load average: 0.04, 0.02, 0.00
任务: 290 total, 1 running, 220 sleeping, 0 stopped, 0 zombie
%Cpu0 : 4.0 us, 1.0 sy, 0.0 ni, 95.0 id, 0.0 wa, 0.0 hi, 0.0 si, 0.0 st
%Cpu1 : 8.8 us, 1.4 sy, 0.0 ni, 89.9 id, 0.0 wa, 0.0 hi, 0.0 si, 0.0 st
KiB Mem : 2017516 total, 89048 free, 1675844 used, 252624 buff/cache
KiB Swap: 969960 total, 563688 free, 406272 used. 168812 avail Mem
所以20万个协程占用了约 50万KB****平均一个协程占用约2.5KB
那么,go的协程切换成本如此小,占用也那么小,是否可以无限开辟呢?