Logstash

Jordan Sissel avviò il progetto nel 2009, stufo del fatto che ogni formato di log richiedesse il proprio script usa e getta; l'azienda Elasticsearch lo assunse nel 2013. La configurazione ha tre blocchi — input, filter e output — e il lavoro vero lo fanno i filtri. I pattern grok sono espressioni regolari con nome che scompongono una riga di log di Apache in campi, accanto a filtri per il parsing delle date, la geolocalizzazione e l'anonimizzazione.

Il problema è sempre stato il consumo di risorse: una JVM per ogni log shipper su ogni macchina costa cara. Elastic rispose nel 2015 con Beats, piccoli agenti in Go — Filebeat su tutti — che si presero la raccolta. Logstash divenne uno stadio intermedio opzionale per le trasformazioni pesanti e in molti stack è sparito del tutto.