前言
golang可以轻易制造高并发，在某些场景很合适，比如爬虫的时候可以爬的更加高效。但是对应某些场景，如文件读写，数据库访问等IO为瓶颈的场合，就没有什么优势了。
前提基础
1、golang数据库访问
在golang中数据库访问使用”database/sql”包提供的接口，不同的数据库，比如pg、mysql只需要提供对应的驱动就可以了。注意”database/sql”包提供的接口只针对关系型数据库，nosql如redis和mongodb都是直接使用对应的客户端包，不实现”database/sql”包提供的接口。关于”database/sql”包，这里不做讲述，后续在基础回顾上巩固下。总体上就是提供了连接、事务处理、还有就是打开的时候注意打开的时候并没有连接，而是产生一个池，每次有交互的时候才产生一个连接(事务交互除外)。
2、数据库插入优化基础
1)插入无索引表会比插入有索引的表快，毕竟建立索引总是要增加一些额外操作
2)插入小表比插入大表快，业务一般插入速度是以条数计算，大表一条记录比较大，需要IO的时间比较长。
3)多个连接一起插入会比单连接快，因为mysql不是单线程。
4)日志缓存增大可以加快插入速度，因为减少了IO访问次数。
5)一次插入多条数据可以加快插入速度。
实践经验
ps：以小表做实验，都用一个环境，比较差异。
表结构：
create table lamp(
id bigint not null primary key,
state char(1),
collecttime timestamp);
1、无任何优化，一条条插入，且使用同一个链接
代码片段：
fmt.Println(time.Now().Unix())
_, err = db.Prepare("INSERT INTO lamp (id, state, collecttime)VALUES(?,'0', '20180103002930')")
if err != nil {
fmt.Println(err)
return
}
for i := 0; i < 100000; i++ {
_, err := db.Exec(execstring + data)
if err != nil {
fmt.Println(err)
return
}
}
fmt.Println(time.Now().Unix())
结果：
1514911765
1514912248
使用了483s 平均100000/500 大概是200次每秒。
2、单连接，使用事务。
fmt.Println(time.Now().Unix())
insert, err = db.Prepare("INSERT INTO lamp (id, state, collecttime)VALUES(?,'0', '20180103002930')")
if err != nil {
fmt.Println(err)
return
}
begin, err := db.Begin()
if err != nil {
fmt.Println(err)
return
}
for i := 0; i < 100000; i++ {
_, err := begin.Stmt(insert).Exec(i)
if err != nil {
fmt.Println(err)
return
}
}
err = begin.Commit()
if err != nil {
fmt.Println(err)
return
}
fmt.Println(time.Now().Unix())
运行结果
1514910923
1514911049
使用了129s 平均100000/125， 约为800次每秒
3、批量插入，每1W条执行一次插入操作。，注意max_allowed_packet要设置的足够大
fmt.Println(time.Now().Unix())
for i := 0; i < 1000; i++ {
for j := i * 10000; j < i*10000+10000; j++ {
if j < i*10000+9999 {
id := strconv.Itoa(j)
onedata := "(" + id + ", '0', '20180103002930'), "
data = data + onedata
} else {
id := strconv.Itoa(j)
onedata := "(" + id + ",'0', '20180103002930')"
data = data + onedata
}
}
_, err := db.Exec(execstring + data)
if err != nil {
fmt.Println(err)
return
}
}
fmt.Println(time.Now().Unix())
结果：
1514969811
1514970318
使用了507s 平均10000000/500， 约为2W次每秒
4、并发插入，使用100个协程插入
fmt.Println(time.Now().Unix())
intertnumber := 0
for i := 0; i < 10; i++ {
value := i
go func() {
execstring := "INSERT INTO lamp (id, state, collecttime)VALUES"
for k := value; k < 1000; k = k + 10 {
data := " "
for j := k * 10000; j < k*10000+10000; j++ {
if j < k*10000+9999 {
id := strconv.Itoa(j)
onedata := "(" + id + ", '0', '20180103002930'), "
data = data + onedata
} else {
id := strconv.Itoa(j)
onedata := "(" + id + ",'0', '20180103002930')"
data = data + onedata
}
}
//fmt.Println(execstring + data)
_, err := db.Exec(execstring + data)
if err != nil {
fmt.Println(err)
return
}
intertnumber = intertnumber + 10000
}
}()
}
for intertnumber < 9999999 {
time.Sleep(1 * time.Second)
}
fmt.Println(time.Now().Unix())
运行结果：
1514974432
1514974796
使用了363s 平均10000000/500， 约为2.7W次每秒
4、1千W条数据，开1000个协程做插入操作，每次插入1W条数据。mysql最大连接数设置为2048
运行结果：
mysql宕机，CPU,MEM使用过高，IO使用并不高。
总结：
从程序层面上看：
1、使用事务会比较快一些。
2、多连接插入会快很多，当读写成为瓶颈的时候，效果就不太明显。
3、一次插入多条数据也会快很多。
4、高并发大量插入请求，mysql服务的应对措施是宕机，而不是拒绝请求。(这个跟笔者代码也有一定关系，因为100个协程前面都是再抢CPU构造插入请求，几乎都是同时向mysql请求)，mysql在高并发场景，如果承受不住会宕机，这点在设计上需要注意。
原文：http://blog.csdn.net/m0_38132420/article/details/78964433