Eland?
Там основное время идёт на серолл данных - достать из еластика. Остальное все шустро.

https://github.com/elastic/eland

Работает с виртуальными pandas dataframes в эластике. Удобно чтобы не вытаскивать лишние данные, а обрабатывать их в эластике.

Подскажите почему получаю эту ошибку при агрегации

Expected [START_OBJECT] under [field], but got a [VALUE_STRING] in [ranges]

Вот запрос

"aggs": {
  "ranges": {
    "field": "created_at",
    "ranges": [{
      "from": 1637701085,
      "to": 1637873885
    }]
  }
}

А вот пример документа

{
  "id": "f4606ee0-9765-40cf-872f-2c04536c9c18",
  "intent": null,
  "tenant": "88bf697c-ff96-4357-bc29-b4f333f54201",
  "workspace": "5b9584b9-1494-4741-9114-56522b0b1884",
  "status": "expired",
  "check": null,
  "created_at": 1637871827,
  "updated_at": 1637872907
 }

Имя агрегации отсутствует и вместо него сразу идут настройки.

Разве ranges это не имя?

Значит, тип агрегации забыт, а не имя :)

Подскажите плиз кто что знает
Если по умолчанию, без всяких доп настроек, отправить тексты в эластик на индексацию в которых будут содержаться символы:
“/”, “+”, “-”, ”%”
Эластик их примет как обычные символы в тексте?
Или что-то сочтет за спецсимолвы и их нужно как-то экранировать?

Особенно инетерсует знак процента
Пример отправки в индекс текста

спирт 10% санкт-петербург

проверка на анализ дает такой результат (другие данные опущены)

{
     "token": "спирт",
     "start_offset": 31,
     "end_offset": 36,
     "type": "<ALPHANUM>",
     "position": 4
   },
   {
     "token": "10",
     "start_offset": 37,
     "end_offset": 39,
     "type": "<NUM>",
     "position": 5
   },
   {
     "token": "санкт",
     "start_offset": 41,
     "end_offset": 46,
     "type": "<ALPHANUM>",
     "position": 6
   },
   {
     "token": "петербург",
     "start_offset": 47,
     "end_offset": 56,
     "type": "<ALPHANUM>",
     "position": 7
   }

Хотле бы чтоб создавалая токен с проценами "10%" а не "10"

хочется пошутить про спирт

простите

Единственное, что можно посмотреть - это структура индекса. На сколько шардов разделён индекс? Если только один шард, то эластик не сможет эффективно использовать многопроцессорность.

16 shards + 1 replica

Хорошо. Но всё равно странно. 2 сервера тратят на обход 190M элементов 6 часов. Я бы попробовал профилировать и  оптимизировать на малом срезе данных

да шутите на здоровье, только подскажите, а то пользвоатель ищет часто 10%, 20%...

добрый день. только начал изучать эластик. в проекте встретил такую  вложенную структуру запроса. bool->must->bool->should[]. подскажите как правильно понять эту структуру. в интернете не втречал примеров с вложеными bool запросами.  заранее спасибо.

тут нужно учитывать другую сторону медали - ограничение в шаржах на ноду и кластер.

тоже только погружаюсь в эластик и запросы получается писать скорее наудачу. Но без вложенных bool не получается объединять should и must конструкции. bool работает, как оборачивание в скобки списка предикатов.

понял. спасибо, очень помогли

Какое оптимальное решение проблемы производительности, если индекс маленький 100Мб а запросов много и в результате кластер сыпет 429 too many request?