Elastic Stack基本认识和使用

1. Elastic Stack简介

ELK是一款开源的分布式日志分析架构技术栈的总称，这里是它的官网https://www.elastic.co/cn/elastic-stack。

包含三大基础组件，分别是ElasticSearch、Logstash、Kibana。

但实际上ELK不仅仅适用于日志分析，它还可以支持其他任何数据搜索、分析和收集的场景。

日志分析和收集只是更具有代表性，并非唯一性。

1. 在每个服务器部署一个Logstash来收集本服务器上的日志文件
2. 通过配置文件让Logstash把数据分发给Elasticsearch集群，可以往任意节点发作为集群会汇总到一起
3. 可以写一个应用来搜索数据和分析数据等请求，当然集群中也可以部署一个Kibana节点使业务人员通过浏览器观看图表获取实时信息

随着ELK的的发展，又有新成员Beats、Elastic Cloud的加入，所以就形成了Elastic Stack。

所以说，ELK是旧的称呼，Elastic Stack是新的名字。

2. Elastic Stack特色

• 处理方式灵活：Elasticsearch是目前最流行的准实时全文检索引擎，具有高速检索大数据的能力
• 配置简单：安装ELK的每个组件，仅需配置每个组件的一个配置文件即可。
• 接口简单：采用Json形式RESTFUL API接收数据并响应，无关语言。
• 性能高效：Elasticsearch基于优秀的全文搜索技术Lucene，采用倒排索引，可以轻易地在百亿级别数据量下，搜索出内容，且是秒级响应。
• 灵活扩展：Elasticsearch和Logstash都可以根据集群规模线性扩展，Elasticsearch内部自动实现集群协作。
• 数据展现华丽：Kibana作为前端展现工具，图表华丽，配置简单。

3. Elastic Stack组件介绍

Elasticsearch

Elasticsearch是使用Java开发，基于Lucene、分布式、通过RESTFUL方式进行交互的近实时搜索平台框架。

它的特点有：分布式，零配置，自动发现，索引自动分片，索引副本机制，RESTFUL风格接口，多数据源，自动搜索负载等等。

Logstash

Logstash基于Ruby开发，是一个数据抽取转化工具。

一般工作方式为C/S架构。

Client端安装在需要收集信息的主机上，Server端负责将收到的各节点日志进行过滤、修改等操作，再一并发往Elasticsearch或其他组件上去。

Kibana

Kibana基于Node.js，也是一个开源和免费的可视化工具。

Kibana可以为Logstash和Elasticsearch提供的日志分析友好的Web界面，可以汇总、分析和搜索重要数据日志。

Beats&&Agent

Beats基于Golang开发，Beats平台集合了多种单一用途轻量级数据采集器。

它们从成百上千或成千上万机器和系统向Logstash或Elasticesearch发送数据。

Beats由如下组成：

• Packetbeat：轻量型网络数据采集器，用于深挖网线上传输的数据，了解应用程序动态。支持ICMP、DNS、HTTP等协议。
• Filebeat：轻量型日志采集器。filebeat 是基于原先 logstash-forwarder 的源码改造出来的。换句话说：filebeat 就是新版的 logstash-forwarder。
• Metricbeat：轻量型指标采集器，Metricbeat能够输送各自系统和服务统计数据，从CPU到内存，从Redis到NGINX，不一而足。
• Winlogbeat：轻量型Windows事件日志采集器，用于密切监控基于Windows基础设施上发生的事件。
• Auditbeat：轻量型审计日志采集器，收集您的Linux审计框架的数据，监控文件完整性。
• Heartbeat：面向运行状态监测的轻量型采集器，通过主动探测来监测服务的可用性。
• Functionbeat：面向云端数据的无服务器采集器，在作为一项功能部署在云服务提供商的Faas平台上后，Functionbeat即能收集、传送并监测。

Elastic Agent:

在 Elastic Stack 的早期版本中，不同的数据类型需要使用不同的 Beat 代理（如 Filebeat、Metricbeat、Packetbeat 等）来收集日志、系统指标、网络数据等。

而 Elastic Agent 则将这些功能整合到一个统一的代理中，从而降低了部署和维护的复杂度。

Elastic Cloud

基于Elasticsearch的软件即服务Saas解决方案。

通过Elastic的官方合作伙伴使用托管的Elasticsearch服务。

Elastic Security

Elastic Security 是 Elastic Stack 上构建的一套全面的安全解决方案，它提供了一系列工具和服务，帮助组织预防、检测和响应网络威胁。

Elastic Security 是基于开源项目开发的，因此它不仅免费，而且完全透明，允许用户自由地扩展和定制其功能。