golang练手项目日志收集项目（一）

项目介绍：日志收集项目
主要功能：收集日志并且可视化查询日志
开发环境 ：windos+idea
项目描述：收集日志并且在可视化页面中查询日志信息
主要技术：etcd+kafka+ElasticSearch+Kibana
负责模块：kafka收集日志，送到ElasticSearch中。kibana展示

初始化etcd连接。然后从etcd中拉取药收集日志的配置项目 然后etcd派一个watch取监听kafka 收集到日志发送到kafka 然后程序把日志文件发送到ElasticSearch中 采用kibana读取出来

我们要先准备好etcd+kafka+es+kibana 这些组件

​
我们先下载kafka

kafka官网下载地址:Apache Kafka,下载二进制的.
检测是否成功 我们需要先启动zookeeper 
命令为（前提是你自己改的文件路径已经ok）
bin\windows\zookeeper-server-start.bat config\zookeeper.properties

然后我们启动kafka
命令
bin\windows\kafka-server-start.bat config\server.properties  

kafka启动成功之后 我们项目也已经存到kafka中
最后在开启终端查看日志（指定服务ip跟端口）(web_log为已经写死的文件名）beginning（启动)
bin\windows\kafka-console-consumer.bat --bootstrap-server 192.168.56.1:9092  --topic web_log --from-beginning

​

下载ES和Kibana

一、JDK安装
必须 JDK1.8.0_131 版本以上

二、安装包下载
访问官网，下载 ES 安装包和 Kibana 安装包

三、安装ES和Kibaba
我这里使用当前最新版本8.2.2，分别解压ES和Kibaba到对应目录，ES安装2个，实现最小高可用集群配置。

四、启动ES
启动elasticsearch01：
bin目录下执行\elasticsearch.bat脚本即可启动ES服务；

ES启动后，会自动创建data目录，存放ES运行过程中需要保存的数据。 默认使用磁盘文件系统做数据的保存，也可以改为其他存储服务。

五、访问ES
访问http://localhost:9200/?pretty地址，可见ES启动成功

六、启动Kibana
1）在bin目录下执行kibana.bat脚本