Elk on Coding

logstash多个配置文件数据混乱问题

Tue, 13 Mar 2018 07:16:54 +0000

程序自始至终只有一个pipline。要想多个pipline，只能通过启动多个logstash实例。
当指定的目录下的所有配置文件启动时，Logstash会自动把多个文件合并在一个文件中。
可以通过cat **.conf > /tmp/tmp.conf查看多个配置文件合并后的效果，排查问题。
假如有个2配置文件，output又指向同一源时，可以拆成3个文件来处理。

input1.conf

input { ....... .}
  filter { 
    if [type] == "1"{ 
       grok { ...........} 
    } 
}

input2.conf

input { ....... .}
  filter { 
    if [type] == "2"{ 
      grok { ...........} 
    } 
}

output.conf

output { 
  ................ 
}

对Elasticsearch的Text字段分组查询

Wed, 06 Dec 2017 06:58:20 +0000

官方文档

ES默认不支持Text类型字段进行分组查询，将fielddata设置为true。

curl -XPUT '172.16.88.100:9200/capture-2017.06.19/_mapping/capture' -d'
{
  "properties": {
    "host": {
      "type": "text",
      "fielddata": true
    }
  }
}'

grok解析syslog异常_grokparsefailure

Tue, 05 Dec 2017 06:06:30 +0000

logstash的异常信息并不像elastichsearch那样可以打印出详细的java堆栈错误，方便出错后排查问题。

在使用logstash中遇到_grokparsefailure，实在是太难调试，只能一点点去试、去分析。

之前在解析一个标准的syslog日志竟然也出错。用的官方的标准的pattern。

下面这行日志grok解析失败了：

从官方模版中的正则可以看出对于HOSTNAME的解析不支持"_";。

SYSLOGHOST %{IPORHOST}
IPORHOST (?:%{HOSTNAME}|%{IP})
HOSTNAME \b(?:[0-9A-Za-z][0-9A-Za-z-]{0,62})(?:\.(?:[0-9A-Za-z][0-9A-Za-z-]{0,62}))*(\.?|\b)

找到问题，解决就容易了，要么改主机名要么不用官方的pattern。

Logstash简介

Tue, 05 Dec 2017 02:43:59 +0000

官方文档
Logstash是一个接收，处理，转发日志的工具。包含input、filter、output三大组件。分别实现收集->过滤->输出三个功能。
每个组件下面都包含丰富的插件，下图列举一些常见的。

intput

主要负责从数据源接收数据。常见的如：

file：从文件系统中读取一个文件，类似UNIX命令"tail -0a"。
syslog：监听514端口，按照RFC3164标准解析日志数据。
redis：从redis服务器读取数据，支持channel(发布订阅)和list模式。redis一般在Logstash消费集群中作为"broker"角色，保存events队列共Logstash消费。

filter

主要承担对接收的数据解析、过滤。常用的有：