Logstash

Jordan Sissel projeyi 2009’da, her günlük biçimi için ayrı bir tek seferlik betik yazmaktan bıktığı için başlattı; Elasticsearch şirketi onu 2013’te bünyesine kattı. Yapılandırma üç bloktan oluşur: girdi, süzgeç, çıktı. Asıl işi süzgeçler yapar. Grok desenleri, bir Apache günlük satırını alanlarına ayıran adlandırılmış düzenli ifadelerdir; bunların yanında tarih çözümleme, coğrafi arama ve anonimleştirme süzgeçleri de vardır.

Sorun hep kaynak tüketimiydi: her makinede günlük gönderen bir JVM pahalıya gelir. Elastic 2015’te küçük Go ajanlarından oluşan Beats ile yanıt verdi; başta Filebeat olmak üzere bunlar toplama işini devraldı. Logstash, ağır dönüşümler için isteğe bağlı bir ara aşamaya dönüştü; birçok yığında ise tümüyle devre dışı kaldı.