目录
dwarf组成
dwarf 由 The Debugging Information Entry 。
type Entry struct {
Offset Offset
Tag Tag // 描述其类型
Children bool
Field []Field // 包含的字段
}
不同的 entry 有不同的类型：
- tag compile unit, 在 go 中就表示一个 package 下的所有源代码文件。
- tag sub program， 表示函数
一个 entry 有不同的 attr:
AT_low_pcAT_high_pc对于函数：
package s
func Leaf(lx, ly int) int {
return (lx << 7) ^ (ly >> uint32(lx&7))
}
func Top(tq int) int {
var tv [10]int
tr := Leaf(tq-13, tq+13)
return tr + tv[tr&3]
}
对应的 entry：
DW_TAG_complication_unit{ // package s
DW_TAG_subprogram {
DW_AT_name: s.Top
DW_TAG_formal_parameter {
DW_AT_name: tq // 参数名
DW_AT_type: ... // 参数类型
}
}
}
如何将 addr 转换为行号
- seekpc 返回该 pc 对应的 complication unit。（类似于线性搜索，并且下一次调用 seekpc，会在上一次的之后开始搜索，所以 pc 最好需要排序）
- dwarf.Reader.Next() 将会循环读取 entry，如果是函数并且地址在范围内，就认为找到了对应 address 的函数名。
- dwarf line reader 将会返回该 complication unit 对应的 line 信息。
// go1.19/src/cmd/pprof/pprof.go:300
func pctoLine(f *elf.File, pc uint64) []driver.Frame {
dwarf, _ := f.DWARF()
r := dwarf.Reader()
unit, _ := r.SeekPC(pc)
lines, _ := dwarf.LineReader(unit)
var lentry godwarf.LineEntry
if err := lines.SeekPC(pc, &lentry); err != nil {
log.Fatal(err)
}
// Try to find the function name.
name := ""
FindName:
for entry, err := r.Next(); entry != nil && err == nil; entry, err = r.Next() {
if entry.Tag == godwarf.TagSubprogram {
ranges, err := dwarf.Ranges(entry)
if err != nil {
log.Fatal(err)
}
for _, pcs := range ranges {
if pcs[0] <= pc && pc < pcs[1] {
var ok bool
// TODO: AT_linkage_name, AT_MIPS_linkage_name.
name, ok = entry.Val(godwarf.AttrName).(string)
if ok {
break FindName
}
}
}
}
}
frames := []driver.Frame{
{
Func: name,
File: lentry.File.Name,
Line: lentry.Line,
},
}
return frames
}
内联函数
使用 pprof 获取地址:
其中 simplify1 是被内联的函数。
2152: 0x5a51a8 M=1 regexp/syntax.simplify1 /usr/local/go1.18/go/src/regexp/syntax/simplify.go:148 s=0
regexp/syntax.(*Regexp).Simplify /usr/local/go1.18/go/src/regexp/syntax/simplify.go:100 s=0
调用栈：
使用正常的方式获取地址：
被内联的函数消失了，但是行号还是正确的。
regexp/syntax.(*Regexp).Simplify /usr/local/go1.18/go/src/regexp/syntax/simplify.go 148
如何展开内联函数
如果我们有一个函数：
package s
func Leaf(lx, ly int) int {
return (lx << 7) ^ (ly >> uint32(lx&7))
}
func Top(tq int) int {
var tv [10]int
tr := Leaf(tq-13, tq+13)
return tr + tv[tr&3]
}
那么对于 top 这个程序，我们会包含以下 entry:
- tag_subprogram: 表示 top 这个函数
- tag_subprogram: 表示 leaf 这个内联函数的抽象（含有函数名，不含有地址范围）
- TAG_inlined_subroutine： 表示 leaf 这个内联函数的实体。（包含地址范围等信息）
DW_TAG_subprogram {
DW_AT_name: s.Top
DW_TAG_formal_parameter {
DW_AT_name: tq
DW_AT_type: ...
}
// abstract inline function
DW_TAG_subprogram { // offset: D1
DW_AT_name: s.Leaf
DW_AT_inline : DW_INL_inlined (not declared as inline but inlined)
...
DW_TAG_formal_parameter { // offset: D2
DW_AT_name: lx
DW_AT_type: ...
}
DW_TAG_formal_parameter { // offset: D3
DW_AT_name: ly
DW_AT_type: ...
}
...
}
// inlined body of 'Leaf'
DW_TAG_inlined_subroutine {
DW_AT_abstract_origin: // reference to D1 above
DW_AT_call_file: 1
DW_AT_call_line: 15
DW_AT_ranges : ...
DW_TAG_formal_parameter {
DW_AT_abstract_origin: // reference to D2 above
DW_AT_location: ...
}
DW_TAG_formal_parameter {
DW_AT_abstract_origin: // reference to D3 above
DW_AT_location: ...
}
}
}
因此，通过 pc 地址不断的循环遍历 inline_subroutine 这种类型的 entry，我们就可以获取所有的内联函数。
func inlineStackInternal(stack []*godwarf.Tree, n *godwarf.Tree, pc uint64) []*godwarf.Tree {
switch n.Tag {
case dwarf.TagSubprogram, dwarf.TagInlinedSubroutine, dwarf.TagLexDwarfBlock:
if pc == 0 || n.ContainsPC(pc) {
for _, child := range n.Children {
stack = inlineStackInternal(stack, child, pc)
}
if n.Tag == dwarf.TagInlinedSubroutine {
stack = append(stack, n)
}
}
}
return stack
}
然后，我们通过该 entry 的 AbstractOrigin 字段，获取 abstract function，然后就可以得到函数名。
abstractOrigin := f.abstractSubprograms[e.Val(dwarf.AttrAbstractOrigin).(dwarf.Offset)]
使用 parca 展开内联函数
使用 parca 获取内联：
package main
import (
"debug/elf"
"log"
"os"
"strconv"
parcadwarf "github.com/parca-dev/parca/pkg/symbol/addr2line"
"github.com/parca-dev/parca/pkg/symbol/demangle"
)
func main() {
f, _ := elf.Open(os.Args[1])
debug, _ := parcadwarf.DWARF(nil, f, demangle.NewDemangler("simple", false))
pc, _ := strconv.ParseUint(os.Args[2], 16, 64)
log.Println(debug.PCToLines(pc))
}
pprof raw 的输出，该 address fe1475 总共代表三个函数：
1951: 0xfe1475 M=1 google.golang.org/grpc/metadata.Join /home/gitlab-runner/go/pkg/mod/google.golang.org/grpc@v1.48.0/metadata/metadata.go:141 s=0
google.golang.org/grpc/metadata.MD.Copy /home/gitlab-runner/go/pkg/mod/google.golang.org/grpc@v1.48.0/metadata/metadata.go:92 s=0
go.opentelemetry.io/contrib/instrumentation/google.golang.org/grpc/otelgrpc.UnaryServerInterceptor.func1 /home/gitlab-runner/go/pkg/mod/go.opentelemetry.io/contrib/instrumentation/google.golang.org/grpc/otelgrpc@v0.33.0/interceptor.go:304 s=0
输出：
./dwarf/dwarf /home/data/server/otel-collector/data/otelcol-contrib fe1475
[{297 name:"go.opentelemetry.io/contrib/instrumentation/google.golang.org/grpc/otelgrpc.UnaryServerInterceptor.func1" filename:"/home/gitlab-runner/go/pkg/mod/go.opentelemetry.io/contrib/instrumentation/google.golang.org/grpc/otelgrpc@v0.33.0/interceptor.go"} {138 name:"?" filename:"/home/gitlab-runner/go/pkg/mod/google.golang.org/grpc@v1.48.0/metadata/metadata.go"} {92 name:"?" filename:"/home/gitlab-runner/go/pkg/mod/google.golang.org/grpc@v1.48.0/metadata/metadata.go"}]
parca 输出有以下问题
- 无法正确的获取内联的函数名
- 内联函数的行号不正确。
- 内联函数顺序不对
对于第一个问题，其实是 parca 只会将 pc 地址表示的当前 complication unit 进行内联函数映射。
对于途中就是 interceptor 这个库。
而内联的函数在 meatadata 这个库，所以无法正确的获取函数名。
对于第二个问题，由于内联函数展开后，获取的是 DW_TAG_subprogram，它映射一个范围内的地址，自然也无法精确的获取行号。
对于第三个问题，parca 写错了。