firebolt:用于流式 ETL、可观察性数据管道和事件处理应用程序的 Golang 框架
火弩箭
用于流式事件处理和数据管道应用程序的 golang 框架
介绍
Firebolt 有一个简单的模型,旨在使编写处理数据流的可靠管道应用程序变得更加容易。
它可用于构建系统,例如:
日志记录/可观察性管道
流式ETL
事件处理管道
每个应用程序的管道都从一个单一的源开始,即从某个外部系统接收事件的组件。 源必须实现node.Source接口。
我们提供一个内置源:
kafkaconsumer - 事件来自 Kafka 主题,并作为[]byte传递到根节点
应用程序的处理由其节点执行,这些节点形成一个处理树。 数据 - 事件 - 沿着这棵树向下流动。 父节点将结果传递给它的子节点。 节点可以同步或异步处理事件,并且必须相应地实现node.SyncNode或node.AsyncNode接口。
我们提供两种内置节点类型:
kafkaproducer - 事件由异步生产者生成