Телеграмм чат группы usePerlOrDie страница 1713

Разве что в самом первом приближении. У меня диплом был по полнотекстовому поиску. Даже на небольших объёмах (несколько сотен мегабайт текста) подход "в лоб" с инвертированным индексом ( https://ru.wikipedia.org/wiki/%D0%98%D0%BD%D0%B2%D0%B5%D1%80%D1%82%D0%B8%D1%80%D0%BE%D0%B2%D0%B0%D0%BD%D0%BD%D1%8B%D0%B9_%D0%B8%D0%BD%D0%B4%D0%B5%D0%BA%D1%81 ) не работает, т.к. очень много индексов в БД меняется при вставке одного документа. Нужно продумывать кучу вещей, типа своего планировщика запросов, обновлялщика-агрегатора и т.д.

Wikipedia

Инвертированный индекс

Инвертированный индекс (англ. inverted index) — структура данных, в которой для каждого слова коллекции документов в соответствующем списке перечислены все документы в коллекции, в которых оно встретилось. Инвертированный индекс используется для поиска по текстам.

источник

20:59пожаловаться #15

АК

Алексей Клименко... in use Perl or die;

allter

Разве что в самом первом приближении. У меня диплом был по полнотекстовому поиску. Даже на небольших объёмах (несколько сотен мегабайт текста) подход "в лоб" с инвертированным индексом ( https://ru.wikipedia.org/wiki/%D0%98%D0%BD%D0%B2%D0%B5%D1%80%D1%82%D0%B8%D1%80%D0%BE%D0%B2%D0%B0%D0%BD%D0%BD%D1%8B%D0%B9_%D0%B8%D0%BD%D0%B4%D0%B5%D0%BA%D1%81 ) не работает, т.к. очень много индексов в БД меняется при вставке одного документа. Нужно продумывать кучу вещей, типа своего планировщика запросов, обновлялщика-агрегатора и т.д.

Wikipedia

Инвертированный индекс

Инвертированный индекс (англ. inverted index) — структура данных, в которой для каждого слова коллекции документов в соответствующем списке перечислены все документы в коллекции, в которых оно встретилось. Инвертированный индекс используется для поиска по текстам.

На каком-то сайте имиджборде (то ли данбуру, то ли gelbooru.com) я замечал, что индексы для поиска по тегу – битые.

Например, написано что по тегу должно быть столько-то картин, а возвращается одна-две, или вообще ни одной.

Также, были теги, которые указывают на картины, на которых уже нет этих тегов. Какое-то расхождение, им как будто всё переиндексировать и перестроить списки тегов нужно было.

источник

21:05пожаловаться #16

a

allter in use Perl or die;

Алексей Клименко

На каком-то сайте имиджборде (то ли данбуру, то ли gelbooru.com) я замечал, что индексы для поиска по тегу – битые.

Например, написано что по тегу должно быть столько-то картин, а возвращается одна-две, или вообще ни одной.

Также, были теги, которые указывают на картины, на которых уже нет этих тегов. Какое-то расхождение, им как будто всё переиндексировать и перестроить списки тегов нужно было.

Может там контент убран местным комнадзором, а в индексе не чистят. :) Или контент показывается только определённым странам.

источник

21:06пожаловаться #17

АК

Алексей Клименко... in use Perl or die;

allter

Может там контент убран местным комнадзором, а в индексе не чистят. :) Или контент показывается только определённым странам.

Нет, я видел ужасно битые мусорные теги, которых быть вообще не должно, но они существовали и на что-то указывали.

источник

21:07пожаловаться #18

a

allter in use Perl or die;

P.S. Я лично не пробовал, но если вам надо что-то такое реализовать, то говорят хорошо идут вещи типа ElasticSearch - вроде там уже готовые штуки для этого были.

источник

21:08пожаловаться #19

АК

Алексей Клименко... in use Perl or die;

Я просто думаю о том, как сделать сохранённую локально частичную базу контента Telegram – юзабельной не хуже оригинала.

Ну то есть, если я буду всё «руками» делать (без БД) – то максимум у меня будет диалоги/сообщения.
Смогу проиндексировать медиа, и быть может, хештеги (и то не глобально, а разумно в пределах чата).

Но поиск…

источник

21:10пожаловаться #20