хм... погашенные?

нет) вообще 1 контейнер.)

ну тогда предлагаю списать на магию)

Доброго времени суток! Я пытаюсь настроить парсинг json логов с помощью filebeat processor. В основном он работает нормально, но иногда получаю сообщение об ошибке "failed to parse field [response.body] of type [keyword] in document...". Подскажите пожалуйста, что я делаю не так? Буду благодарен любой помощи.

Конфиг файл filebeat:

filebeat.autodiscover:
  providers:
    - type: kubernetes
      host: ${NODE_NAME}
      templates:
        - config:
          - type: docker
            containers.ids:
              - "${data.kubernetes.container.id}"
            processors:
              - decode_json_fields:
                  fields: ["message"]
                  target: ""
                  overwrite_keys: true
                  max_depth: 8

setup.ilm.enabled: false
setup.template.name: "index-"
setup.template.pattern: "index-*"
output.elasticsearch:
  hosts: ['${ELASTICSEARCH_HOST}:${ELASTICSEARCH_PORT}']
  username: ${ELASTICSEARCH_USERNAME}
  password: ${ELASTICSEARCH_PASSWORD}
  index: "index-dev-%{[kubernetes.namespace]}-%{[agent.version]}-%{+yyyy.MM}"

Лог, вызывающий ошибку:

{"level":30,"time":1575295869865,"pid":1,"hostname":"crud-769d6cc499-m2w4k","request":{"from":"10.0.4.8","to":"GET /crud/1.0/data","headers":{"host":"sandbox.dev.ladcloud.ru","x-request-id":"a5bd4fef58baedb732cfd72e240b2f84","x-real-ip":"95.79.56.97","x-forwarded-for":"95.79.56.97","x-forwarded-host":"sandbox.dev.ladcloud.ru","x-forwarded-port":"443","x-forwarded-proto":"https","x-original-uri":"/crud/1.0/data?userId=d69bfbdd-ffbb-4225-8851-7155bcb3684f","x-scheme":"https","user-agent":"curl/7.58.0","accept":"*/*","authorization":"Bearer c4274f7c-8ac3-42ce-b836-fffffffff"},"body":null},"response":{"body":{"statusCode":503,"error":"Service Unavailable","message":"Jopa lala"},"statusCode":503},"v":1}

с процессороми бита особо не работал, но тут явно проблема в маппинге. по дефолту у тебя в поле ожидается стринга, а приходит вложенный объект

Понял, спасибо за направление, попробую в эту сторону копнуть.

Всем привет, я нашёл папку, которую хочу грохнуть, с индексами за лохматый год. Дело в том, чтто такие индексы я уже удалил и в конфигах эластика нигде не нашёл, чтобы туда кто-то писал.
Содержимое папок типа
logstash-2016.07.11:

_state/
1/
2/
6/

к примеру 2/ содержит:

index
_state
translog

не разнесёт ли чего, если я удалю эту папку?

похоже на какой-то бекап/снепшот

крайне не рекомендуется грохать что то со стороны файловой системы, нарушается целостность, хеши не сходятся и т.д.

только через api

у меня инексов даже нет таких открытых/закрытых

последний за декабрь 2016

а тат июнь всякий и тд

а если переместить попробовать один?

мое жело предупредить) имхо - если что то трогать руками - то только на погашенном эластики и с полным бекапом всей data папки

*мое дело

спс

доброе утро
вопрос по логстешу. есть десяток приложений, которые пишут напрямую в елку свои логи. по хттп,  появилась мысль, перевести сбор не на елке, а через логстеш, и вот тут появились проблемы.  если инпут ставить хттп, то летит ересь типа

{"type":"misback","@timestamp":"2019-12-04T15:32:16.042Z","index":{"_index":"corp-backend-2019.12.04","_type":"logevent"},"host":"10.20.170.13","headers":{"http_accept":"application/json","http_host":"10.20.171.38:9205","http_version":"HTTP/1.1","content_type":"application/json","request_path":"/_bulk","http_user_agent":null,"content_length":"1668","request_method":"POST"},"@version":"1"}

при это тело самого лога, от приложение. пропадает
ставлю tcp, логи идут, но вокруг море мусорных записей..вида

{"host":"srv","type":"back","port":55659,"@timestamp":"2019-12-05T06:53:58.935Z","@version":"1","message":"POST /_bulk HTTP/1.1\r"}

гдето через 5-6 таких строчек. появляется нужный лог, где в message лежит что нужно. но как до него достучаться. может кто сталкивался с похожей проблемой?

так запись в эластик идет по другому протоколу.