ELK日志系统搭建

本文目录一览：

• 1、11.SpringCloud搭建ELK日志平台-选型
• 2、使用ELK收集网络设备日志的案例
• 3、windows搭建ELK外网使用winlogbeat、Filebeat收集系统日志实践
• 4、13.SpringCloud搭建ELK日志平台-常规配置

11.SpringCloud搭建ELK日志平台-选型

核心组件选型依据日志收集 Filebeat：轻量级日志托运工具，支持日志文件动态追踪，资源占用低，适合大规模服务器场景。Logback：Java应用日志框架，可直接将日志输出至消息队列（如Redis），减少中间环节，但需修改应用代码。Logstash：功能强大但资源消耗较高，通常不直接用于日志收集，而是作为日志处理中枢。

方案一：Tomcat等生成日志文件，Filebeat检测更新，Logstash接收，Elasticsearch处理，Kibana展示。方案二：Tomcat等生成日志文件，Filebeat检测更新，Logstash读取Redis消息队列，Elasticsearch处理，Kibana展示。方案三：日志通过Logback传输到消息队列，Logstash读取Redis消息队列，Elasticsearch处理，Kibana展示。

搭建了ELK日志平台后，本文将重点介绍常规配置步骤。对于3版本及以上，X-Pack功能已集成于Elasticsearch、Kibana、Beats和Logstash默认发行版中，无需额外安装。在elasticsearch.yml文件中配置相关参数，重启Elasticsearch，访问Kibana进行验证。

引入服务发现（Consul）和事件总线（Kafka），构建异步通信能力。

利用SpringCloud和Netty打造千万级IM系统集群，需从技术选型、系统架构设计、关键技术实现、集群部署与优化、监控与运维等方面综合实施。技术选型 SpringCloud：作为微服务架构解决方案，提供服务注册与发现、配置中心、负载均衡、熔断器等功能，实现服务解耦，提高系统可扩展性和容错性。

配置管理：Spring Cloud Config（应用配置）、Vault（敏感信息）、Kustomize/Helm（K8s资源）。服务网格：Istio（流量管理、灰度发布）、Linkerd（轻量级替代）。监控告警：Prometheus+Grafana（指标监控）、ELK（日志分析）、Sentry（错误追踪）。

使用ELK收集网络设备日志的案例

winlogbeat。CentOS 6系统日志收集 在CentOS上安装Filebeat，通过命令行安装并配置输出到Elasticsearch和Kibana。 启用system模块，然后启动Filebeat。这个指南旨在帮助初次接触ELK堆栈的用户将不同操作系统日志接入，无需Logstash。注意，这仅作为学习示例，不适用于生产环境，务必在测试环境尝试。

当需要做一个日志系统时，可能第一时间会想到ELK全家桶。ELK分别表示：Elasticsearch ， Logstash， Kibana 。他们组成了一套完整的日志系统的解决方案，方便我们使用。在使用Logstash进行收集的时候，仅仅需要简单的一个配置文件就可以启动一个logstash-agent来进行日志收集。

功能：实时监控系统性能（如CPU、内存、磁盘I/O），通过预设阈值触发警报，快速定位异常。典型工具：Zabbix、Nagios、Prometheus。应用场景：适用于企业IT环境，减少停机时间，优化资源分配。日志分析工具 功能：解析系统日志文件，通过关键词搜索、模式匹配定位错误根源。

值得注意的是，Logstash 占用内存较大，因此本文推荐使用 Go 语言编写的轻量级日志收集工具 FileBeat。为确保线上环境的吞吐量和可靠性，可以引入 Kafka 进行解耦，具体操作本文未详述。实战步骤包括搭建日志收集与搜索系统。首先下载并解压 ELK 的最新稳定版本，本文推荐使用 12 版本。

原来组内本身就在维护了一个 日志框架 ，只是我不知道...于是我接入了 Graylog 日志，工作效率杠杠提高了， 凭借这个事情吹了一个Q 。自从接入了之后，我就没登录过应用服务器了，有次差点连 grep 都不会写了。

windows搭建ELK外网使用winlogbeat、Filebeat收集系统日志实践

收集系统日志Windows系统日志收集 下载并安装Winlogbeat 12ELK日志系统搭建，解压至C：\Program Files\Winlogbeat，然后安装服务并配置输出和Kibana连接。 启动Winlogbeat，执行winlogbeat.exe setup和Start-Service winlogbeat。

推荐使用ELK Stack集成Winlogbeat来方便查看和分析Windows日志，这是一款功能全面且免费ELK日志系统搭建的解决方案，适合企业自建日志系统。相比昂贵的商业方案，ELK Stack提供ELK日志系统搭建了强大的日志收集、处理和可视化功能，无需依赖云平台，适合对数据敏感性较高的企业。

Topbeat：系统、进程和文件系统数据。Filebeat：文件数据。Winlogbeat：Windows 事件日志数据。

至少要确保有合适的审计策略以记录最基本的内容，然后考虑进一步的监视方法来记录更深入的活动。虽然该系列博客专门关于WEC和Elastic Security，但有了良好的Windows日志记录，可直接从Winlogbeat或Elastic Agent和Fleet的Windows集成的终端系统中导入Elastic Security。

filebeat也是elastic.公司开发的，其官方的说法是为了替代logstash-forward。采用go语言开发。代码开源。elastic/beats filebeat是beats的一个文件采集工具，目前其官方基于libbeats平台开发的还有Packetbeat， Metricbeat， Winlogbeat。filebeat性能非常好，部署简单。是一个非常理想的文件采集工具。

13.SpringCloud搭建ELK日志平台-常规配置

1、修改Logstash配置文件（logstash.config）ELK日志系统搭建，添加本地IP地址信息。重启Logstash观察日志输出，若出现无法连接ElasticsearchELK日志系统搭建的错误，重新启动服务即可。验证Monitoring License状态正常。对于Filebeat配置，关键内容包括指定不同类型目录的日志文件监控、添加自定义标签以配合Logstash进行索引和过滤。

2、在SpringCloud搭建ELK日志平台时，选型需结合日志收集、传输、存储、分析及监控需求，以下为具体选型分析及方案对比：核心组件选型依据日志收集 Filebeat：轻量级日志托运工具，支持日志文件动态追踪，资源占用低，适合大规模服务器场景。

3、部署与监控：Docker + Kubernetes实现容器化部署与弹性伸缩ELK日志系统搭建；Prometheus + Grafana实时监控系统指标。日志与合规：ELK日志系统留存6个月，满足金融合规要求。