logstash在Elasticsearch中创建的默认索引模板问题
最新回答
对错何妨
2024-07-28 09:59:34
默认的logstash模板：
使用logstash收集日志时， 如果对日志中的字段mapping没有特殊的要求，使用以下的logstash 配置文件1.conf就可以满足需求：
1.conf:
上述配置实现收集nginx的访问日志并写入到Elasticsearch集群中去，这种情况下logstash会向Elasticsearch创建一个名为logstash-*的按天创建的index以及名为logstash的template，之后每天创建一个logstash-%{+YYYY.MM.dd}的index用于存储日志。
这种情况下，logstash-%{+YYYY.MM.dd}索引就会有两个type, 一个是 defalut , 一个是logs.
如果不想使用logstash默认创建的模板创建索引，有两种解决方式，一是可以在logstash配置文件中的output中指定index索引名称, 如2.conf所示：
2.conf:
使用2.conf, logstash会向Elasticsearch提交创建一个名为"nginx_access-%{+YYYY.MM.dd}"的索引，并且只有一个名为“logs”的type.
第二种解决方式是在output中指定manage_template=>false，如3.conf所示：
3.conf
使用3.conf配置，logstash会向Elasticsearch提交创建一个名为"logstash-%{+YYYY.MM.dd}"的索引,并且只有一个名为“logs”的type. 注意此时logstash将不会提交创建名为logstash的模板。
默认情况下，logstash向Elasticsearch提交创建的索引的type为"logs",如果需要自定义type, 有两种方式，一种是在output里指定document_type参数，另一种是在input里指定type参数， output里的document_type优先级大于input里的type.
使用自定义模板有两种方式，一种是启动logstash之前先调用Elasticsearch的API创建模板，并指定模板匹配的索引名称pattern以及模板优先级，具体可参考官方文档
https://www.elastic.co/guide/en/elasticsearch/reference/6.3/indices-templates.html
；另一种方式是在logstash端的output中增加"template"和"template_name"参数，如4.conf所示。4.conf
上述配置需要先在/path/to路径下存放一个json格式的模板配置文件，template_name如果不指定的话，会使用默认值logstash. 注意此种情况不能在output设置manage_template参数为false, 否则logstash将不会调用Elasticsearch API创建模板。
热门标签
