老王的个人博客

1、Filebeat 基本介绍1.1 Filebeat 是什么Filebeat 是用于 “转发” 和 “集中日志数据” 的 “轻量型数据采集器”；Filebeat 会监视指定的日志文件路径，收集日志事件并将数据转发到 Elasticsearch、Logstash、Redis、Kafka 存储服务器。 1.2 Filebeat 主要组件Filebeat 主要由两个核心组件组成：Input 和 Harvester。 Input（输入）：负责定位和识别需要读取的日志文件。可以使用文件的全路径、也可以是文件名称匹配等。 Harvester（收割机）：负责打开 Input 定义的这些文件，然后 逐行

ELK 相关技术介绍1. ELK 诞生的背景1.1 没有 ELK 分析日志前没有日志分析工具之前，运维工作存在哪些痛点？ 痛点 1：生产出现故障后，运维需要不停的查看各种不同的日志进行分析？是不是毫无头绪？ 痛点 2：项目上线出现错误，如何快速定位问题？如果后端节点过多、日志分散怎么办？ 痛点 3：开发人员需要实时查看日志但又不想给服务器的登陆权限，怎么办？难道每天帮开发取日志？ 痛点 4：如何在海量的日志中快速的提取我们想要的数据？比如：PV、UV、TOP10 的 URL？如果分析的日志数据量大，那么势必会导致查询速度慢、难度增大，最终则会导致我们无法快速的获取到想要的指标。 痛点 5：C

1、ES 基本概念介绍1.1 ES 是什么Elasticsearch 是一个分布式、RESTful 风格的搜索和数据分析引擎。 1.2 ES 主要功能数据存储、数据搜索、数据分析。 2、ES 相关术语2.1 文档 DocumentDocument 文档就是用户存在 es 中的数据，它是 es 中存储的最小单元。（类似于表中的一行数据）注意：每个文档都有一个唯一的 ID 表示，可以自行指定，如果不指定 es 会自动生成。 2.2 索引 Index索引其实是一堆文档 Document 的集合。（它类似数据库的中的一个表）在一个索引中，会有多个文档，而每个文档是由多个不同类型的字段拼接在一起的。 2

1、ElasticSearch 集群1.1 ES 集群优势Elasticsearch 集群是由多个节点组成的一个分布式系统。使用 Elasticsearch 集群有以下几个优点： 扩展性：Elasticsearch 集群将数据分布在多个节点，也就是可以使用更多的 CPU、内存、磁盘等。从而能够进行大规模的数据存储和处理工作。随着数据不断的增长，可以通过向集群添加更多的节点来应对。这样即使数据量达到 PB 级别，Elasticsearch 集群仍可以正常工作。场景说明：应用程序每天生成数百万条日志。单个服务器可能很快就会被数据量压垮。使用 Elasticsearch 集群后，就可以将数据均匀分