关于golang:Mysql事务实现原理以及在Go语言中使用数据库事务

数据库并发拜访问题

数据库应用中通常存在多个客户端同时拜访数据库，因而数据库系统要可能解决这种并发拜访的状况。在理论工作中，并发拜访时数据库应用中的常态，然而并发拜访时数据库时，可能呈现以下问题：

脏读：
以后事务读到其余事务未提交的数据（脏数据），这种景象是脏读。在这里咱们应用一个简略的订单表阐明什么状况下会呈现脏读，订单表（order）的表构造如下：

字段名	数据类型	形容
id	bigint(20)	自增id
no	varchar(64)	订单编号
status	tinyint(4)	订单状态：0 待领取 1 已领取 2 实现

假如以后事务为A，在事务A中读取订单的状态。并假如事务B与事务A并发执行，在事务B中进行订单状态的批改操作。

工夫点	事务A	事务B
T1	开始事务	开始事务
T2		批改订单状态：0=>1
T3	查问订单状态（此时是1）
T4		回滚操作（此时是0）

在这个例子中，事务A读取了未提交的数据，获取了谬误的数据。

不可反复读：
在以后事务中先后两次读取同一个数据，两次读取的后果不一样，这种景象称为不可反复读。脏读与不可反复读的区别在于：前者读到的是其余事务未提交的数据，后者读到的是其余事务已提交的数据。同样采纳订单状态的例子来阐明那种状况下会呈现不可反复读。

工夫点	事务A	事务B
T1	开始事务	开始事务
T2	查问订单状态（此时是0）
T2		批改订单状态：0=>1
T4		提交事务
T5	查问订单状态（此时是1）

在一个事务中前后两次读取的后果并不致，导致了不可反复读。

幻读：
在以后事务中依照某个条件先后两次查询数据库，两次查问后果的条数不同，这种景象称为幻读。不可反复读与幻读的区别能够艰深的了解为：前者是数据变了，后者是数据的行数变了。还是采纳订单状态的例子来阐明，不过在这个例子中将事务A与事务B的性能批改一下，在事务A中执行查问全副订单的操作，在并发执行的的事务B中执行增加订单的操作。

工夫点	事务A	事务B
T1	开始事务	开始事务
T2	查问订单数量（此时订单数量是1）
T2		增加一个新的订单（此时订单数量是2）
T4		提交事务
T5	查问订单数量（此时订单数量是2）

在一个事务中前后两次读取的后果的条数不同，导致了幻读。

数据长久化问题：

InnoDB以数据页为单位来读写文件，为了晋升性能InnoDB采纳了缓冲池(Buffer Pool)。读数据会首先从缓冲池中读取，如果缓冲池中没有，则首先从磁盘读取数据页并退出缓冲池。
之后如果批改了一个数据页，也不会立刻写到磁盘文件，而是把这个数据页增加到缓冲池的flush链表中，而后再某个工夫再将数据保留到磁盘。缓冲池技术尽管会提交数据库的性能，然而会存在失落数据的问题。对于一个曾经提交的事务，如果数据还没有刷新到磁盘时出现异常，则会失落这些数据。可能的异常情况包含：

数据库异样
操作系统异样
零碎断电

事务的定义

在数据库中应用事务来解决数据库并发拜访问题以及数据长久化问题。在数据库中一个事务是由一条或多条SQL语句所组成的一个的执行单元，只有当事务中的所有操作都失常执行完了，整个事务才会被提交给数据库。如果有局部SQL语句解决失败，那么事务就回退到最后的状态。数据库事务应该具备以下的四大个性：

原子性
事务的原子性事务中的操作必须作为一个整体来执行，一个事务中的操作要么全副胜利提交，要么全副失败回滚，对于一个事务来说不可能只执行其中的局部操作。
持久性
事务的持久性是指当事务提交之后，数据库的扭转就应该是永久性的，即事务一旦提交，其所作做的批改会永恒保留到数据库中，此时即便零碎解体批改的数据也不会失落。
隔离性
隔离性是指，事务外部的操作与其余事务是隔离的，并发执行的各个事务之间不能相互烦扰。
一致性
一致性是指事务执行完结后，数据库的完整性束缚没有被毁坏，事务执行的前后都是非法的数据状态。一致性是事务谋求的最终目标，原子性、持久性和隔离性，实际上都是为了保障数据库状态的一致性而存在的。

Mysql事务隔离级别

Mysql隔离级别有以下四种（级别由低到高）：

read uncommited（未提交读）
最低的隔离级别，这种级别下能够脏读、不可反复读、幻读都有可能产生。
read commited（已提交读）
一个事务的批改在他提交之前的所有批改，对其余事务都是不可见的。其余事务能读到已提交的批改变动。在很多场景下这种逻辑是能够承受的。然而该级别会产生不可重读以及幻读问题。
repeatable read（可反复读）
在一个事务内的屡次读取的后果是一样的。这种级别下能够防止，脏读，不可反复读等查问问题。
serializable（串行化）
事务串行化执行，隔离级别最高，这种级别下不会造成数据不统一问题，然而会就义零碎的并发性。

在理论利用中，读未提交在并发时会导致很多问题，而性能绝对于其余隔离级别进步却很无限，因而应用较少。
可串行化强制事务串行，并发效率很低，只有当对数据一致性要求极高且能够承受没有并发时应用，因而应用也较少。
因而在大多数数据库系统中，默认的隔离级别是读已提交(如Oracle)或可反复读。

应用redo日志实现事务持久性

MySQL为了进步的性能，对于增、删、改这种操作都是在内存中实现的。数据的增删改查都是先将磁盘中数据页的数据加载到缓冲池中，而后再对缓存页中的数据进行操作。MySQL有专门的后盾线程等其余机制负责将脏数据页刷新到磁盘。因为脏数据页不是实时刷新到磁盘，若产生异样，那些曾经提交然而没有保留的数据将会失落，这样就不能保障事务的持久性了。为了解决这个问题，InnoDB数据库引擎采纳了redo日志的机制。redo日志会把事务在执行过程中对数据库所做的批改都记录下来，在之后零碎解体重启后能够把事务所做的任何批改都复原进去。

为什么不间接将数据页刷新到磁盘，而是采纳redo日志来实现数据的持久性，次要因为：

首先一个缓存页的大小为16K，如果一个缓存页中只批改了大量的数据，也要将一个残缺的缓存页刷入磁盘，这样显然不是很正当。
另外的起因是一个事务可能蕴含很多语句，即便是一条语句也可能批改许多页面，这些页面通常都不是一个间断的存储区域。间接保留这些页面须要进行多个磁盘IO，造成对磁盘进行随机拜访，从而升高零碎的性能。

应用redo日志可能防止上述问题，redo日志有以下有点：

redo日志占用的空间十分小。
redo日志是程序写入磁盘的。

另外须要阐明的是redo日志也不肯定是立刻刷新的磁盘，MySQL提供了零碎变量：innodb_flush_log_at_trx_commit来管制redo日志的刷盘。该零碎变量有3个选项：

0：提交事务不会立刻刷盘，MySQL应用后盾线程来刷新日志到磁盘。该做法的长处是可能升高磁盘IO次数，进步零碎的性能。毛病是零碎异样时可能会失落数据。
1：若提交事务会立刻将日志刷新到磁盘，该选项可能确保事务的持久性。
2：若提交事务会立刻将日志刷新到操作系统的缓存，而后依靠于操作系统的刷新机制将数据同步到磁盘中。这种状况下数据库异样时不会失落数据，但若是操作系统异样，也不能保证数据的持久性。

除了事务提交时，还有其余刷盘机会：

redo log buffer的空间有余时，若日志量达到redo log buffer的总容量的50%时会将这些日志刷新到磁盘。
后盾线程每隔一秒将redo log buffer外面的redo log block刷入磁盘。
保留数据页时会将相干的redo日志刷新到磁盘。

应用undo日志实现事务原子性

Mysql数据库undo日志用于实现事务的原子性。事务执行过程中，以下两种状况会造成事务只执行了一部分操作：

事务执行过程中呈现了异样，例如：数据库异样、操作系统异样，服务器断电。
事务执行了局部语句后，数据库的客户端输出ROLLBACK语句完结以后事务的执行。

上述两种状况中事务只执行了局部逻辑，在事务的执行中可能曾经批改数据库的数据。为了确保事务的原子性，须要将曾经批改的内容复原为事务初始执行的状态，即对事务进行回滚。

Mysql数据库应用undo日志来实现事务回滚。在事务执行过程中，除了记录redo日志，还会记录undo日志。msyql执行事务时，会记录数据库操作（insert、delete、update）的回滚信息，这些回滚信息称为：undo日志。有了undo日志，若事务执行过程中出现异常或者客户端手动回滚，就能够应用undo日志将数据恢复为事务执行前的状态。

undo日志有两个作用，一是用于事务回滚，二是实现MVCC性能。

应用MVCC实现事务的隔离

Mysql中有两种机制可用于解决读写并发抵触，一种形式是采纳锁机制，读、写操作都要进行加锁；另外一种形式是读操作应用MVCC，写操作加锁。因为应用MVCC时读不加锁，读写能够并发执行，零碎的性能好，因而Mysql数据库在隔离等级read commited、repeatable read下缺省采纳了MVCC机制来解决读写并发抵触。MVCC（Multi-Version Concurrency Control）被称为多版本并发管制，次要是依赖undo日志以及Read View（一致性视图）来实现事务的并发读写。在事务执行过程中，不同的事务对一个记录进行的批改，都会生成一条undo日志。每条undo日志都有一个roll_pointer属性，能够将这些undo日志都连起来，串成一个链表，这个链表就叫做：版本链。下图是一个版本链的示意图：

在事务中查问该记录时，会产生一个Read view（一致性视图），Read view相当于给以后数据库生成了一个快照，记录并且保护以后沉闷的事务的ID。而后Mysql读取undo日志的版本链，把以后undo日志的事务ID与Read view中的沉闷事务ID进行比拟，来获取最新的已提交的记录数据。比拟的规定如下：

以后事务ID如果小于min_id（最小的沉闷事务ID），则以后事务可见。
以后事务ID如果大于max_id（零碎的最大事务ID），则以后事务不可见。
以后事务大于min_id小于max_id，再判断是沉闷事务，如果是阐明事务还没提交，以后事务不可见。如果不是沉闷事务，则以后事务可见。
若以后事务为不可见，则须要持续遍历undo日志的版本链，并依照上述规定进行比拟。

应用锁实现事务的隔离

应用MVCC时读不加锁，读写能够并发执行，零碎的性能好，然而MVCC只能用于读写事务的场景中，其余的场景则必须应用锁来解决事务的并发问题。另外有些状况下须要应用锁定读语句来查问记录。

锁的分类

1）从操作的粒度可分为表级锁、行级锁

表级锁：每次操作锁住整张表。锁定粒度大，产生锁抵触的概率最高，并发度最低。
行级锁：每次操作锁住一行数据。锁定粒度最小，产生锁抵触的概率最低，并发度最高。

2）从操作的类型可分为共享锁和排他锁

共享锁：
共享锁也称为读锁、S锁。一条数据被加了S锁之后，其余事务也能来读数据，能够共享一把锁。
排他锁
排他锁也称为写锁，X锁。以后写操作没有实现前，它会阻断其余写锁和读锁。

3）意向锁
意向锁为表锁，分为两种类型：动向共享锁（简称为IS）和动向排他锁（简称为IX）。意向锁有应用规定为：

当须要给一行数据加上S锁的时候，MySQL会先给这张表加上IS锁。
当须要给一行数据加上X锁的时候，MySQL会先给这张表加上IX锁。

InnoDB中的行级锁

Record Locks（记录锁）
官网的类型名称为：LOCK_REC_NOT_GAP，记录锁又分为S锁和X锁。
Gap Locks（间隙锁）
官网的类型名称为：LOCK_GAP，间隙锁的提出仅仅是为了避免插入幻影记录。
Next-Key Locks（临键锁）
官网的类型名称为：LOCK_ORDINARY，临键锁的实质就是一个记录锁和一个间隙锁的合体，它既能爱护该条记录，又能阻止别的事务将新记录插入被爱护记录前边的间隙。
Insert Intention Locks（插入意向锁）
官网的类型名称为：LOCK_INSERT_INTENTION。一个事务在插入一条记录时须要判断一下插入地位是不是被别的事务加了间隙锁，如果有的话，插入操作须要期待，在期待时事务须要在内存中生成一个锁构造，表明有事务想在某个间隙中插入新记录，然而当初在期待，而这个锁构造就是插入意向锁。

SQL语句加锁阐明

1) SELECT语句
在不同的隔离级别下，一般的SELECT语句有不同的加锁状态：

在READ UNCOMMITTED隔离级别下，不加锁。
在READ COMMITTED 隔离级别下，不加锁。
在REPEATABLE READ隔离级别下，不加锁。
在Seralizable隔离级别下，加读锁。

2) 锁定读语句

对读取的记录加S锁
SELECT … LOCK IN SHARE MODE;
对读取的记录加X锁
SELECT … FOR UPDATE;

3) UPDATE语句和DELETE语句
UPDATE语句和DELETE语句在执行过程须要首先定位到被改变的记录并给记录加锁，也能够被认为是一种锁定读。

4) INSERT语句
NSERT语句个别状况下不加锁，不过以后事务在插入一条记录前须要先定位到该记录在B+树中的地位，如果该地位的下一条记录曾经被加了间隙锁，那么以后事务会在该记录上加上插入意向锁，并且事务进入期待状态。

在Go语言中应用数据库事务

Go语言提供了规范库database/sql用于拜访数据库，咱们开应用database/sql规范库提供的性能来连贯数据库，进行数据库的增删改查操作，以及数据库的事务操作。本文不介绍database/sql规范库的应用办法，在本文中将介绍如何应用wego/worm来进行数据库事务操作。wego/worm是一款不便易用的Go语言ORM库，worm具备应用简略，运行性能高，功能强大的特点。具体特色如下：

通过Struct的Tag与数据库字段进行映射，让您免于常常拼写SQL的麻烦。
反对Struct映射、原生SQL以及SQLBuilder三种模式来操作数据库，并且Struct映射、原生SQL以及SQLBuilder可混合应用。
Struct映射、SQL builder反对链式API，可应用Where, And, Or, ID, In, Limit, GroupBy, OrderBy, Having等函数结构查问条件。
反对事务反对，可在会话中开启事务，在事务中能够混用Struct映射、原生SQL以及SQL builder来操作数据库。
反对预编译模式拜访数据库，会话开启预编译模式后，任何SQL都会应用缓存的Statement，能够晋升数据库拜访效率。

wego/worm的下载地址：
go get github.com/haming123/wego/worm

ORM初始化

package main
import (
    "database/sql"
    "log"
    _ "github.com/go-sql-driver/mysql"
    "github.com/haming123/wego/worm"
)
func main() {
    var err error
    cnnstr := "user:pwd@tcp(127.0.0.1:3306)/db?charset=utf8&parseTime=True"
    dbcnn, err := sql.Open("mysql", cnnstr)
    if err != nil {
        log.Println(err)
        return
    }
    err = dbcnn.Ping()
    if err != nil {
        log.Println(err)
        return
    }
    err = worm.InitMysql(dbcnn)
    if err != nil {
        log.Println(err)
        return
    }
}

创立实体类

CREATE TABLE `user` (
  `id` bigint(20) NOT NULL AUTO_INCREMENT,
  `name` varchar(30) DEFAULT NULL,
  `age` int(11) DEFAULT NULL,
  `passwd` varchar(32) DEFAULT NULL,
  `created` datetime DEFAULT NULL,
  `updated` datetime DEFAULT NULL,
  PRIMARY KEY (`id`)
);

数据库表user对应的实体类的定义如下：

type User struct {
    Id          int64       `db:"id;autoincr"`
    Name        string      `db:"name"`
    Age         int64       `db:"age"`
    Passwd      string      `db:"passwd"`
    Created     time.Time    `db:"created;n_update"`
}
func (ent *User) TableName() string {
    return "user"
}

worm应用名称为”db”的Tag映射数据库字段，”db”前面是字段的名称，autoincr用于阐明该字段是自增ID，n_update用于阐明该字段不可用于update语句中。

事务处理

当应用事务处理时，须要调用worm.NewSession()来创立Session对象，并调用TxBegin()函数开启数据库事务。在事务中能够混用Struct映射、原生SQL以及SQLBuilder来拜访数据库：

func demoTxCommit() {
    tx := worm.NewSession()
    tx.TxBegin()

    var user = User{Name:"name1", Age: 21, Created: time.Now()}
    id, err := tx.Model(&user).Insert()
    if err != nil{
        tx.TxRollback()
        return
    }

    _, err = tx.Table("user").Value("age", 20).Value("name", "zhangsan").Where("id=?", id).Update()
    if err != nil{
        tx.TxRollback()
        return
    }

    _, err = tx.SQL("delete from user where id=?", id).Exec()
    if err != nil{
        tx.TxRollback()
        return
    }

    tx.TxCommit()
}