首页 星云 工具 资源 星选 资讯 热门工具
:

PDF转图片 完全免费 小红书视频下载 无水印 抖音视频下载 无水印 数字星空

Filebeat

编程知识
2024年09月22日 15:34

Filebeat

简介

Filebeat用于转发和集中日志数据的轻量级传送程序。作为服务器上的代理安装,Filebeat监视指定的位置文件或位置,收集日志事件,并将他们转发到Elasticsearch 或Logstash进行索引。

架构图

安装Filebeat

下载并安装

wget  https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-6.0.1-x86_64.rpm
yum install ./filebeat-6.0.1-x86_64.rpm

配置

修改Filebeat配置文件

filebeat.yml

vim /etc/filebeat/filebeat.yml                     # 主配置文件
\- type: log                                       # 文档类型
paths:
\- /var/log/httpd/access.log*                     # 从哪里读入数据# 输出在elasticsearch与logstash二选一即可
output.elasticsearch:                           #将数据输出到Elasticsearch。与下面的logstash二者选一
 hosts: ["localhost:9200"]
output.logstash:                               # 将数据传送到logstash,要配置logstash使用beats接收
 hosts: ["172.18.68.14:5044"]

定义输入日志文件路径

filebeat.inputs:
- type: log
  enabled: true
  paths:
    - /var/log/*.log

在这个例子中,获取在/var/log/*.log路径下的所有文件作为输入,这就意味着Filebeat将获取/var/log目录下所有以.log结尾的文件。

为了从预定义的子目录级别下抓取所有文件,可以使用以下模式,:/var/log/*/*.log.这个将抓取/var/log目录下的所有以.log结尾的文件

目前配置了这样的目录结构,那么只会抓取到2.log和 3.log,而不会抓到4.log和1.log

发送到Elasticsearch

如果你发送输出目录到Elasticsearch(并且不用Logstash),那么设置ip地址和端口以便能够找到Elasticsearch

output.elasticsearch:
    hosts: ["192.168.1.42:9200"]

如果打算用kibana仪表盘

setup.kibana:
      host: "localhost:5601"

output.elasticsearch:
      hosts: ["myEShost:9200"]
      username: "filebeat_internal"
      password: "{pwd}" 
setup.kibana:
      host: "mykibanahost:5601"
      username: "my_kibana_user"  
      password: "{pwd}"

配置filebeat以使用Logstash

如果想使用Logstash对filebeat收集的数据进行额外处理,那么你需要将filebeat配置为使用Logstash。

output.logstash:
      hosts: ["127.0.0.1:5044"]

完整配置

#=========================== Filebeat inputs ==============
filebeat.inputs:

- type: log

  enabled: true

  paths:
    - /var/log/*.log

#============================== Dashboards ===============
setup.dashboards.enabled: false

#============================== Kibana ==================
setup.kibana:
	host: "192.168.101.5:5601"

#-------------------------- Elasticsearch output ---------
output.elasticsearch:
  	hosts: ["localhost:9200"]

启动Filebeat

systemctl start filebeat

配置Logstash接收来自FIlebeat采集的数据

vim /etc/logstash/conf.d/test.conf
input {
   beats {
           port => 5044                             # 监听5044用于接收Filebeat传来数据
   }
}
filter {
 grok {
match => {
 "message" => "%{COMBINEDAPACHELOG}"                 # 匹配HTTP的日志
}
remove_field => "message"                             # 不显示原信息,仅显示匹配后
 }
}
output {
elasticsearch {
hosts => ["http://172.18.68.11:9200","http://172.18.68.12:9200","http://172.18.68.13:9200"] # 集群IP
index => "logstash-%{+YYYY.MM.dd}"
action => "index"
document_type => "apache_logs"
}
}

启动Logstash

 /usr/share/logstash/bin/logstash -f /etc/logstash/conf.d/test.conf

模拟日志访问

通过curl命令来模拟客户访问,生成访问日志

curl 127.0.0.1
curl 172.18.68.51
curl 172.18.68.52
curl 172.18.68.53

验证信息

清除之前实验的旧数据(删除时要在对话框中输入删除),然后可以看到filebeat采集数据经过Logtash过滤再送给Elasticsearch的数据。

From:https://www.cnblogs.com/2678066103hs/p/18425482
本文地址: http://www.shuzixingkong.net/article/2204
0评论
提交 加载更多评论
其他文章 GIS转码的秋招历程与踩坑经历
本文介绍地理信息科学(GIS)专业的2024届应届生,在研三上学期期间,寻找后端研发、软件开发等IT方向工作的非科班转码秋招情况~
GIS转码的秋招历程与踩坑经历 GIS转码的秋招历程与踩坑经历
MySQL 用户、权限管理,C/C++连接与使用
目录用户用户管理查询所有用户查看当前用户查看当前连接数创建用户删除用户修改密码规则查看规则/策略规则说明临时设置持久设置修改密码权限数据库提供的 权限列表查看权限给用户授权回收用户权限使用C语言连接库的安装C APImysql_initmysql_real_connectmysql_closemys
MySQL 用户、权限管理,C/C++连接与使用
fp16 的累加误差有多大
本文地址:https://wanger-sjtu.github.io/fp16-err/ 最近在项目中需要实现fp16的数据类型做FFN的计算,算子实现的同学反馈误差与x86上得到的golden数据有比较大误差。开始以为是x86侧做数值模拟仿真的问题。后面也实现了对比了一下,发现误差累计确实挺大。
我的网站集成ElasticSearch初体验
最近,我给我的网站(https://www.xiandanplay.com/)尝试集成了一下es来实现我的一个搜索功能,因为这个是我第一次了解运用elastic,所以如果有不对的地方,大家可以指出来,话不多说,先看看我的一个大致流程 这里我采用的sdk的版本是Elastic.Clients.Elas
我的网站集成ElasticSearch初体验 我的网站集成ElasticSearch初体验 我的网站集成ElasticSearch初体验
"放开那代码让我来!"——Cursor帮你写代码的奇妙之旅
让我们开门见山:编程很酷,但也很折磨人。那些长时间盯着屏幕,debug无休止的日子,只有程序员懂得它的酸爽。而就在这个编程焦虑的世界中,Cursor横空出世,带着一系列魔法功能,如同你手中的一根智能魔杖,让写代码变得像煮速冻面一样简单。 Cursor,一款基于AI的编程助手,号称可以从自然语言生成代
"放开那代码让我来!"——Cursor帮你写代码的奇妙之旅 "放开那代码让我来!"——Cursor帮你写代码的奇妙之旅 "放开那代码让我来!"——Cursor帮你写代码的奇妙之旅
Blazor开发框架Known-V2.0.11
Known今天发布了V2.0.11版本,本次版本添加了系统WebApi在线测试,系统菜单样式配置,表格支持用户设置栏位显隐和顺序,系统上下文支持静态组件与后端交互,以及对PgSQL进行了详细的测试,修复了一些BUG,网站支持微信扫码注册登录,文档和交流互动板块也更新了一部分。Known框架的功能和文
Blazor开发框架Known-V2.0.11 Blazor开发框架Known-V2.0.11 Blazor开发框架Known-V2.0.11
数据结构与算法之间有何关系?
数据结构与算法是计算机科学中的两个重要概念,程序=算法+数据结构。数据结构管理数据,算法解决问题,两者相辅相成。数据类型是连接两者的桥梁,数据结构与算法既紧密相连又各有关注。
数据结构与算法之间有何关系? 数据结构与算法之间有何关系? 数据结构与算法之间有何关系?
ConcurrentLinkedQueue详解(图文并茂)
前言 ConcurrentLinkedQueue是基于链接节点的无界线程安全队列。此队列按照FIFO(先进先出)原则对元素进行排序。队列的头部是队列中存在时间最长的元素,而队列的尾部则是最近添加的元素。新的元素总是被插入到队列的尾部,而队列的获取操作(例如poll或peek)则是从队列头部开始。 与
ConcurrentLinkedQueue详解(图文并茂) ConcurrentLinkedQueue详解(图文并茂) ConcurrentLinkedQueue详解(图文并茂)