深入剖析go中字符串的编码问题——特殊字符的string怎么转byte？

来自公众号：新世界杂货铺

前言

前段时间发表了Go中的HTTP请求之——HTTP1.1请求流程分析，所以这两天本来打算研究HTTP2.0的请求源码，结果发现太复杂就跑去逛知乎了，然后就发现了一个非常有意思的提问“golang 特殊字符的string怎么转成[]byte?”。为了转换一下心情， 便有了此篇文章。

问题

原问题我就不码字了，直接上图：

0~127\u0081

unicode和utf-8的恩怨纠葛

百度百科已经把unicode和utf-8介绍的很详细了，所以这里就不做过多的阐述，仅摘抄部分和本文相关的定义：

• Unicode为每个字符设定了统一并且唯一的二进制编码，通常用两个字节表示一个字符。
• UTF-8是针对Unicode的一种可变长度字符编码。它可以用来表示Unicode标准中的任何字符。UTF-8的特点是对不同范围的字符使用不同长度的编码。对于0x00-0x7F之间的字符，UTF-8编码与ASCII编码完全相同。

go中的字符

byterunetype byte = uint8type rune = int32

uint8范围是0-255，只能够表示有限个unicode字符，超过255的范围就会编译报错。根据上述关于unicode的定义，4字节的rune完全兼容两字节的unicode。

我们用下面的代码来验证：

var (
		c1 byte = 'a'
		c2 byte = '新'
		c3 rune = '新'
	)
	fmt.Println(c1, c2, c3)

'新' (untyped rune constant 26032) overflows byte

字符unicode

	fmt.Printf("0x%x, %d\n", '', '') //输出：0x81, 129
	fmt.Println(0x81 == '', '\u0081' == '', 129 == '') // 输出：true true true
	//\u0081输出到屏幕上后不展示， 所以换了大写字母A来输出
	fmt.Printf("%c\n", 65) // 输出：A

true

go中的字符串是utf8编码的

根据golang官方博客https://blog.golang.org/strings的原文：