Size: a a a

DBA - русскоговорящее сообщество

2016 April 29

SK

Stas K in DBA - русскоговорящее сообщество
Alexey
Есть несколько файлов в формате .txt размером от 1 до 10 gb. В них нужен поиск. По описанию elasticsearch, это тот инструмент который решит задачу поиска.
grep? =)
источник

DN

Dmitry Nagovitsin in DBA - русскоговорящее сообщество
есть еще sphinx
источник

DN

Dmitry Nagovitsin in DBA - русскоговорящее сообщество
еластикс умеет нечеткий поиск
источник

DN

Dmitry Nagovitsin in DBA - русскоговорящее сообщество
греп нет
источник

DK

Dmitrii Korotovskii in DBA - русскоговорящее сообщество
Dmitry Nagovitsin
есть еще sphinx
Закопать )
источник

DN

Dmitry Nagovitsin in DBA - русскоговорящее сообщество
Dmitrii Korotovskii
Закопать )
у меня в проде живет ггг
источник

DK

Dmitrii Korotovskii in DBA - русскоговорящее сообщество
Ему не нужен сфинкс, т.к. у него нет базы данных
источник

SK

Stas K in DBA - русскоговорящее сообщество
Dmitry Nagovitsin
греп нет
а регекспы?
источник

DN

Dmitry Nagovitsin in DBA - русскоговорящее сообщество
но зачем?
источник

DN

Dmitry Nagovitsin in DBA - русскоговорящее сообщество
если есть удобный еластикс
источник

SK

Stas K in DBA - русскоговорящее сообщество
Dmitrii Korotovskii
Ему не нужен сфинкс, т.к. у него нет базы данных
Сфинксу норм без базы, он может из файлов забирать
источник

DK

Dmitrii Korotovskii in DBA - русскоговорящее сообщество
Я работал с сфинксом и эластиком. Рекомендовал бы эластик.
источник

DK

Dmitrii Korotovskii in DBA - русскоговорящее сообщество
У него просто добавлять анализаторы, фильтры, комбинировать их как угодно. Еще есть куча плагинов если чего то нехватает то можно свой плагин на джаве написал за день.
источник

A

Alexey in DBA - русскоговорящее сообщество
Я так понимаю мне нужно презентовать эластику раздел с файлами, дать права и в конфиге указать этот раздел?
источник

A

Alexey in DBA - русскоговорящее сообщество
И через kibana можно смотреть эти данные?
источник

DK

Dmitrii Korotovskii in DBA - русскоговорящее сообщество
Нет. Сначала устанавливаешь эластик, создаешь индекс и mapping для документа. Потом читаешь свой файл и загоняешь по http все данные в эластик
источник

DK

Dmitrii Korotovskii in DBA - русскоговорящее сообщество
А смотришь их чем угодно затем.
источник

DK

Dmitrii Korotovskii in DBA - русскоговорящее сообщество
Ну вот примерно как здесь написано: http://www.georgestragand.com/elasticsearchbash.html
источник

DK

Dmitrii Korotovskii in DBA - русскоговорящее сообщество
Вот опять же есть плагин какой то https://github.com/dadoonet/fscrawler но я хз, никогда им не пользвался.
источник

SK

Stas K in DBA - русскоговорящее сообщество
а если серьёзно, то какие требования к поиску? какие запросы? какое время отклика надо?
источник