ELK大规模日志实时处理系统零基础学习与企业应用实践资源介绍:
本课程属于从基础到应用实战性质的一个课程,主要介绍ZooKeeper+Kafka+ELK架构以及Filebeat及Logstash的各种应用插件具体用法。最后通过多个案例介绍了如何收集Apache、Nginx、Tomcat、Mysql、HDFS等日志收集与zabbix的整合告警、架构优化经验。
通过ELK,将运维所有的服务器日志,业务系统日志都收集到一个平台下,然后提取想要的内容,比如错误信息,警告信息等,当过滤到这种信息,就马上告警,告警后,运维人员就能马上定位是哪台机器、哪个业务系统出现了问题,出现了什么问题,都会在ELK平台有详细的描述。
资源目录:
1ELK企业常见应用架构分享以及工作流程[30:13] 2zookeeper基础入门与集群架构模式[28:44] 3kafka基础入门以及Topic与Partition的实现[19:41] 4kafka的消息发送、消费与存储机制详解[17:14] 5filebeat基础入门以及ELK常见企业应用架构[34:58] 6ELK+Filebeat+Kafka构建大数据日志分析平台[17:06] 7elasticsearch集群架构以及JDK环境变量设置[15:06] 8elasticsearch集群构建并进行系统JVM调优[22:58] 9elasticsearch集群配置以及常用参数介绍[18:39] 10【案例实战】安装与配置zookeeper集群过程(1)[17:26] 11【案例实战】安装与配置zookeeper集群过程(2)[14:53] 12安装与配置kafka集群的方法与注意事项[20:47] 13【案例实战】安装并配置kafka集群的全过程[11:30] 14kafka集群命令讲解创建topic 生产消息与消费消息[20:25] 15【案例实战】安装并配置filebeat及配置项介绍[28:30] 16启动filebeat并验证日志输出和日志格式说明[25:12] 17filebeat日志输出格式介绍和字段删减方法[20:48] 18logstash深入input filteroutput插件[26:21] 19logstash入门介绍以及日志输出格式解析1[17:53] 20logstash入门介绍以及日志输出格式解析2[18:13] 21logstash编写事件配置文件并从kafka消费数[25:04] 22安装配置Kibana以及使用Kibana可视化数据[23:52] 23【总结】ELK架构调试并验证ELK日志数据流向[16:47] 24logstash语法应用以及input插件功能讲解1[22:03] 25logstash语法应用以及input插件功能讲解2[21:47] 26Logstash编码插件(Codec)功能讲解与应用[20:46] 27Logstash过滤器插件(Filter)Grok应[17:26] 28logstash的filter插件对字段的分割、转换[25:27] 29logstash 的filter插件mutate g[29:46] 30【实战】logstash的filter插件线上综合应[21:35] 31【实战】logstash输出插件output应用实例[17:03] 32【实战案例】ELK收集apache访问日志实战案例[25:44] 33自定义apache访问日志输出格式并验证讲解[25:58] 34配置filebeat收集apache访问日志文件操作[14:14] 35编写logstash事件配置文件消费apache日志[18:57] 36编写logstash事件配置文件消费apache日志[21:39] 37编写logstash事件配置文件消费apache日志[09:27] 38【实战案例】ELK收集nginx访问日志实战案例[31:20] 39编写logstash事件配置文件消费nginx日志数[28:00] 40结课测试[练习]