参考学习 刘丹冰Aceld 老师的文章
1.由来
1)单进程时代
程序是串行执行的,阻塞花费较多时间,所以效率比较低下
2)多进程时代
程序可以并行执行,所以发生阻塞时可以切换到另一个线程,但是进程之间的切换会浪费很多资源,降低了CPU利用率
3)协程
线程分为内核级线程和用户级线程,一个或多个用户级线程要绑定一个内核级线程,其中内核级线程依然叫线程(thread),而用户级线程叫协程(co-routine)
协程跟线程是有区别的,线程由 CPU 调度是抢占式的,协程由用户态调度是协作式的,一个协程让出 CPU 后,才执行下一个协程
在go语言中,协程叫做goroutine,一个goroutine初始只占几KB,但实际是可伸缩的,如果需要更多内容,runtime 会自动为 goroutine 分配,因此调度起来非常方便,支持大量的goroutine
2.GMP设计思想
G代表goroutine协程,M代表thread线程,P代表processor处理器;P包含了运行G所需要的资源,M想要运行goroutine必须先获取P
1.GMP模型
- 全局队列:存放待运行的goroutine
- p的本地队列:存放的goroutine数量不差过256个,新建的goroutine会优先放到p的本地队列,如果队列满了,则会把本地队列中一半的 G 移动到全局队列
- P处理器:所有的 P 都在程序启动时创建,并保存在数组中,最多有 GOMAXPROCS(可配置) 个
- M线程:线程想运行任务就得获取 P,从 P 的本地队列获取 G,P 本地队列为空时,M 会尝试从全局队列拿一批 G 放到 P 的本地队列,或从其他 P 的本地队列偷一半放到自己 P 的本地队列。M 运行 G,G 执行之后,M 会从 P 获取下一个 G,不断重复下去
P的数量:
- p的最大运行数量由GOMAXPROCS控制,一般设置为cpu的核数,比如 GOMAXPROCS = 核数/2,则最多利用了一半的 CPU 核进行并行,又因为一个协程goroutine让出 CPU 后,才执行下一个协程,所以程序执行的任意时刻都只有 GOMAXPROCS 个 goroutine 在同时运行,在 Go 中,一个 goroutine 最多占用 CPU 10ms,防止其他 goroutine 被饿死
M的数量:
- go 程序启动时,会设置 M 的最大数量,默认 10000. 但是内核很难支持这么多的线程数,所以这个限制可以忽略
- runtime/debug 中的 SetMaxThreads 函数,设置 M 的最大数量
- 一个 M 阻塞了,会创建新的 M
M 与 P 的数量关系:
- M 与 P 的数量没有绝对关系,一个 M 阻塞,P 就会去创建或者切换另一个 M,所以,即使 P 的默认数量是 1,也有可能会创建很多个 M 出来
P 和 M 何时被创建:
- P 何时创建:在确定了 P 的最大数量 n 后,运行时系统会根据这个数量创建 n 个 P
- M 何时创建:没有足够的 M 来关联 P 并运行其中的可运行的 G时。比如所有的 M 此时都在忙,而 P 中还有很多就绪任务,就会去寻找空闲的 M,而没有空闲的,就会去创建新的 M
2.调度器的设计策略
策略:复用线程
- work stealing 机制:当本线程M绑定的P队列无可运行的 G 时,尝试从其他线程绑定的 P队列 偷取 G,而不是销毁线程
- hand off 机制:当本线程M因为 G 进行系统调用阻塞时,线程释放绑定的 P处理器,把 P 转移给其他空闲的线程执行
3.go func () 调度流程
4.调度器的生命周期
M0:
- M0 是启动程序后的编号为 0 的主线程,这个 M 对应的实例会在全局变量 runtime.m0 中,不需要在 heap 上分配,M0 负责执行初始化操作和启动第一个 G, 在之后 M0 就和其他的 M 一样了
G0:
- G0 是每次启动一个 M 都会第一个创建的 gourtine,G0 仅用于负责调度的 G,G0 不指向任何可执行的函数,每个 M 都会有一个自己的 G0。在调度或系统调用时会使用 G0 的栈空间,全局变量的 G0 是 M0 的 G0