引子

如今很多云原生系统、分布式系统，例如 Kubernetes，都是用 Go 语言写的，这是因为 Go 语言天然支持异步编程，而且静态语言能保证应用系统的稳定性。笔者的开源项目 Crawlab 作为爬虫管理平台，也应用到了分布式系统。本篇文章将介绍如何用 Go 语言编写一个简单的分布式系统。

思路

在开始写代码之前，我们先思考一下需要实现些什么。

  • 主节点（Master Node）：中控系统，相当于军队中的指挥官，派发任务命令
  • 工作节点（Worker Node）：执行者，相当于军队中的士兵，执行任务

除了上面的概念以外，我们需要实现一些简单功能。

  • 上报运行状态（Report Status）：工作节点向主节点上报当前状态
  • 分派任务（Assign Task）：通过 API 向主节点发起请求，主节点再向工作节点分派任务
  • 运行脚本（Execute Script）：工作节点执行任务中的脚本

整个流程示意图如下。

实战

节点通信

节点之间的通信在分布式系统中非常重要，毕竟每个节点或机器如果孤立运行，就失去了分布式系统的意义。因此，节点通信在分布式系统中是核心模块。

gRPC 协议

首先，我们来想一下，如何让节点之间进行相互通信。最常用的通信方式就是 API，不过这个通信方式有个缺点，就是需要将各个节点的 IP 地址及端口显示暴露给其他节点，这在公网中是不太安全的。因此，我们选择了 gRPC，一种流行的远程过程调用（Remote Procedure Call，RPC）框架。这里我们不过多的解释 RPC 或 gRPC 的原理，简而言之，就是能让调用者在远程机器上执行命令的协议方式。

go.modgo mod downloadexport GOPROXY=goproxy.cn,direct
node.proto
ReportStatusAssignTask

.proto.goprotoc
corenode.pb.gonode_grpc.pb.go

gRPC 服务端

现在开始编写服务端逻辑。

core/node_service_server.goCmdChannel

gRPC 客户端

gRPC 客户端不需要具体实现，我们通常只需要调用 gRPC 客户端的方法，程序会自动发起向服务端的请求以及获取后续的响应。

主节点

编写好了节点通信的基础部分，现在我们需要实现主节点了，这是整个中心化分布式系统的核心。

node.go
InitStart
Init
  • 注册 gRPC 服务
  • 注册 API 服务
Init
NodeServiceGrpcServergin/tasksNodeServiceGrpcServerCmdChannel
Start

下一步，我们就要实现实际做任务的工作节点了。

工作节点

core/worker_node.go
Init
Start
  • 调用上报状态（Report Status）的 Simple RPC 方法
  • 调用分配任务（Assign Task）的 Server-Side RPC 方法，获取到了流（Stream）
  • 通过循环不断接受流传输过来的来自服务端（也就是主节点）的信息，并执行命令

这样，整个包含主节点、工作节点的分布式系统核心逻辑就写好了！

将它们放在一起

最后，我们需要将这些核心逻辑用命令行工具封装一下，以便启用。

main.go

这样，整个简单的分布式系统就创建好了！

代码效果

下面我们来运行一下代码。

go run main.go mastergo run main.go worker

如果主节点启动成功，将会看到如下日志信息。

如果工作节点启动成功，将会看到如下日志信息。

worker node started

主节点、工作节点都启动成功后，我们在另外一个命令行窗口中输入如下命令来发起 API 请求。

curl -X POST \
  -H "Content-Type: application/json" \
  -d '{"cmd": "touch /tmp/hello-distributed-system"}' \
  http://localhost:9092/tasks

received command: touch /tmp/hello-distributed-system
ls -l /tmp/hello-distributed-system

-rw-r--r--  1 marvzhang  wheel     0B Oct 26 12:22 /tmp/hello-distributed-system

文件成功生成，表示已经通过工作节点执行成功了！大功告成！

总结

本篇文章通过 RPC 框架 gRPC 以及 Go 语言自带的 Channel，将节点串接起来，开发出了一个简单的分布式系统。所用到的核心库和技术：

  • os/exec