Size: a a a

2019 December 11

D

Dmitry in E.L.K.
у кого-то логстэш в докере есть? знает как просмотреть логи его в читаемом виде через docker logs?
источник

D

Dmitry in E.L.K.
шо-то не получается сделать файлбит с множеством конфигов, а надо. выкладываю тут свои конфиги.

filebeat.inputs:
- type: log
 paths:
  - /home/devops/exchange/project/storage/logs/*.log

filebeat.autodiscover:
 providers:
   - type: docker
     templates:
       - condition.or:
           - contains.docker.container.image: "tron_mysql"
           - contains.docker.container.image: "laradock_mysql"
           - contains.docker.container.image: "laradock_redis"
         config:
           - type: container
             paths:
              - /var/lib/docker/containers/${data.docker.container.id}/*.log

filebeat.config.modules:
 path: ${path.config}/modules.d/*.yml
 reload.enabled: true

setup.template.settings:
 index.number_of_shards: 1
setup.template.name: "default"
setup.template.pattern: "*"
setup.ilm.enabled: false

output.logstash:
 hosts: ["myelk:5000"]
 ssl.certificate_authorities: "/etc/filebeat/ca.crt"
 ssl.insecure: true

processors:
 - add_host_metadata: ~
 - add_docker_metadata: ~
 - add_tags:
      tags: [test]

filebeat.config.inputs:
 enabled: true
 path: /etc/filebeat/extra/*.yml
источник

D

Dmitry in E.L.K.
extra/nginx.yml
filebeat.inputs:
- type: log
 paths:
  - /home/devops/exchange/laradock/logs/nginx/*.log

filebeat.autodiscover:
 providers:
   - type: docker
     templates:
       - condition.or:
           - contains.docker.container.image: "tron_nginx"
         config:
           - type: container
             paths:
              - /var/lib/docker/containers/${data.docker.container.id}/*.log
           - module: nginx
             access:
               enabled: true
               containers:
                   stream: "stdout"
             error:
               enabled: true
               containers:
                   stream: "stderr"

setup.template.settings:
 index.number_of_shards: 1
setup.template.name: "default"
setup.template.pattern: "*"
setup.ilm.enabled: false

output.logstash:
 hosts: ["myelk:4000"]
 ssl.certificate_authorities: "/etc/filebeat/ca.crt"
 ssl.insecure: true

processors:
 - add_host_metadata: ~
 - add_docker_metadata: ~
 - add_tags:
      tags: [nginx]
источник

D

Dmitry in E.L.K.
и пайп в логстеше
output {
   elasticsearch {
               hosts => "http://elasticsearch:9200"
               user => "system"
               password => 'password'
               ilm_enabled => false
               index => "nginx-test"
               }
        stdout { codec => json }
}
источник

D

Dmitriy in E.L.K.
в extra - только инпут должен быть.
источник

D

Dmitry in E.L.K.
то есть в extra/nginx.yml убрать filebeat.autodiscover?
источник

D

Dmitriy in E.L.K.
а так же сетап, аутаут, процессоры...
источник

D

Dmitry in E.L.K.
а как быть, если логи надо в другой пайплайн логсташа скидывать?
источник

D

Dmitriy in E.L.K.
условия писать
источник

D

Dmitry in E.L.K.
на чьей стороне? и как?
источник

D

Dmitriy in E.L.K.
а это уже как хочешь. хочешь - на бите, хочешь - на логстеше
источник

D

Dmitry in E.L.K.
типа в одном пайплайне можно сделать переадресацию в другой пайп?
источник

D

Dmitriy in E.L.K.
да. либо прописать всю логику в одном под if
источник

D

Dmitry in E.L.K.
ок, пасиб
источник

D

Dmitry in E.L.K.
а типа с одного файлбита в несколько пайплайнов сразу писать нельзя?
источник

D

Dmitriy in E.L.K.
можно.
источник

D

Dmitry in E.L.K.
как? кроме как добавления еще одного хоста в hosts, так как цель пайплайнов может быть разная
источник

D

Dmitriy in E.L.K.
источник

D

Dmitriy in E.L.K.
примерно так. под разные when вешай разные хосты
источник

D

Dmitry in E.L.K.
а это будет работать в случае с output.logstash?
источник