АЛ
Включить логирование в postgresql.conf - например логи записи временных файлов.
По умолчанию postgres настроен на работу на калькуляторе
По умолчанию postgres настроен на работу на калькуляторе
Size: a a a
2020 August 19
АЛ
Vladimir Holyavik
Если проц в полке то где-то пролюбили индекс
Может через временные файлы все делает
VH
pg_stat_statement включить и посмотреть
VH
Он выдаст статистику, где идёт секСкан.. а где индекс
АЛ
Для начала хотя бы pgtune прогнать. На умолчальном shared_buffer в 128MB и work_mem в 4 МБ обработка 40 млн строк мне кажется сомнительной
L█
кажется что там индекс безсмысленный, там нужно каждую строку обсчитать и посортировать по результату. Каждое выполнение занимает около 5 минут, таблица 80 гб. Хочется хотя бы что бы он что-то в память загружал, а не читал каждый раз. Пробовал крутить shared_buffer до 10 гб - результат не меняется.
Запрос тестовый такой, используются кубы
Запрос тестовый такой, используются кубы
VH
кажется что там индекс безсмысленный, там нужно каждую строку обсчитать и посортировать по результату. Каждое выполнение занимает около 5 минут, таблица 80 гб. Хочется хотя бы что бы он что-то в память загружал, а не читал каждый раз. Пробовал крутить shared_buffer до 10 гб - результат не меняется.
Запрос тестовый такой, используются кубы
Запрос тестовый такой, используются кубы
А ф-циональный индекс не хотите заюзать?
L█
SELECT
number,
CUBE(array[-0.07125604897737503,0.08138637989759445,0.07816182076931,-0.012959044426679611,....]) <#> datac AS dist,
gender,
region
FROM public.emb
ORDER BY
CUBE(array[-0.07125604897737503,0.08138637989759445,0.07816182076931,-0.012959044426679611,-....]) <#> datac
LIMIT 20
L█
индексы типа GiST пробовал. становилось только хуже...
L█
Vladimir Holyavik
А ф-циональный индекс не хотите заюзать?
а что это? )
AB
SELECT
number,
CUBE(array[-0.07125604897737503,0.08138637989759445,0.07816182076931,-0.012959044426679611,....]) <#> datac AS dist,
gender,
region
FROM public.emb
ORDER BY
CUBE(array[-0.07125604897737503,0.08138637989759445,0.07816182076931,-0.012959044426679611,-....]) <#> datac
LIMIT 20
речь о knn в высоких размерностях?
VH
Это когда вы пишите фцию на основе полей таблицы.. и индекс строится на результатах
AB
для поиска по эмбеддингам всяеих word2vec наши индексы почти нифига не дают
VH
А уже в коде просто делаете вызов функции
VH
Гуглите )
AB
для приближенного knn надо пинать вот этих чуваков чтобы они шарили код https://dl.acm.org/doi/pdf/10.1145/3318464.3386131
AB
я если что готов помочь им с ревью кода :)
АЛ
Посмотрел на состав разработчиков - надеюсь комментарии в коде не на китайском
AB
код прототипов с sigmod\vldb комментировать бессмысленно - это очень часто поделия людей, которые и не собирались писать что-то поддерживаемое. Наука!=продакшен
AB
но если это что-то толковое и реально работающее, а не только на бумаге, можно довести это