日志太乱?用 Logstash 收一下就清爽多了。Logstash 5.4.0 是个开源的日志收集工具,挺适合做实时数据。它能把系统日志、服务日志这些乱七八糟的东西统一清洗、格式化,再扔到你想要的地方。比如 Elasticsearch、Kafka,甚至文件都行。
日志的来源多,格式还不统一,用肉眼看简直要命。Logstash就像一个聪明的搬运工,先接住各种源头的日志,再用你设好的过滤规则一遍,输出格式统一、结构清晰的内容。调试系统、查异常、做性能,全靠它。
它跟Elasticsearch和Kibana配合香,组成经典的“ELK”组合。你收集、它存储、它展示,日志一条龙。要是你想搞点实时,搭配Kafka或者Storm也稳,响应快,数据流动也顺畅。
配置上没你想的那么复杂。一个logstash.conf
文件,定义好输入(input)、过滤(filter)和输出(output),跑起来就能收数据了。比如:
input {
file {
path => "/var/log/nginx/access.log"
start_position => "beginning"
}
}
filter {
grok {
match => { "message" => "%{COMMONAPACHELOG}" }
}
}
output {
elasticsearch {
hosts => ["localhost:9200"]
}
}
哦对了,版本选 5.4.0 虽然不是最新,但比较稳定,踩坑少,社区资料也多。要是刚入门或者项目不要求用最新版,这版还挺合适。
如果你正好在做日志收集、系统监控,或者搞实时数据,Logstash值得一试。想看更多类似工具?我贴几篇相关文章,自己点进去看看也行:
如果你日志还在靠cat
和grep
,是时候升级下了,Logstash 用起来真挺香的。