日志太乱?用 Logstash 收一下就清爽多了。Logstash 5.4.0 是个开源的日志收集工具,挺适合做实时数据。它能把系统日志、服务日志这些乱七八糟的东西统一清洗、格式化,再扔到你想要的地方。比如 Elasticsearch、Kafka,甚至文件都行。

日志的来源多,格式还不统一,用肉眼看简直要命。Logstash就像一个聪明的搬运工,先接住各种源头的日志,再用你设好的过滤规则一遍,输出格式统一、结构清晰的内容。调试系统、查异常、做性能,全靠它。

它跟ElasticsearchKibana配合香,组成经典的“ELK”组合。你收集、它存储、它展示,日志一条龙。要是你想搞点实时,搭配Kafka或者Storm也稳,响应快,数据流动也顺畅。

配置上没你想的那么复杂。一个logstash.conf文件,定义好输入(input)、过滤(filter)和输出(output),跑起来就能收数据了。比如:

input {
  file {
    path => "/var/log/nginx/access.log"
    start_position => "beginning"
  }
}

filter { grok { match => { "message" => "%{COMMONAPACHELOG}" } } }

output { elasticsearch { hosts => ["localhost:9200"] } }

哦对了,版本选 5.4.0 虽然不是最新,但比较稳定,踩坑少,社区资料也多。要是刚入门或者项目不要求用最新版,这版还挺合适。

如果你正好在做日志收集、系统监控,或者搞实时数据,Logstash值得一试。想看更多类似工具?我贴几篇相关文章,自己点进去看看也行:

如果你日志还在靠catgrep,是时候升级下了,Logstash 用起来真挺香的。