Телеграмм чат группы ru

но только в той таблице у меня получится 15 млн * 8 параметров СТРОК, и помоему это еще более пиздец

17:56пожаловаться #1

значит ли это что раскидывать нужно на несколько компьютеров или вообще отказываться от mysql?
или можно что-то вытворить с этой таблицей чтобы летало? спасибо

17:56пожаловаться #2

основные потери времени идут конечно на полнотекстовый поиск, но даже по полному названию из поля VARCHAR выборка занимает 1-2 секунды вместо 0.05 у эластика

17:57пожаловаться #3

Какие индексы? Какой размер буферпула, таблицы?

17:58пожаловаться #4

ну и какие запросы, какой у них EXPLAIN

18:00пожаловаться #5

разбивать таблицы можно автоматически с помощью https://dev.mysql.com/doc/refman/8.0/en/partitioning.html только надо смотреть зачем эта разбивка вам нужна. Просто разбить данные на несколько таблиц не поможет, если ко всем партициям равномерный доступ.

18:04пожаловаться #6

Если формат строк dynamic https://dev.mysql.com/doc/refman/8.0/en/innodb-row-format-dynamic.html, то текстовый столбец хранится в отдельных страницах и поиск по другим полям даже без индекса быстреею

18:07пожаловаться #7

поля

18:07пожаловаться #8

не так важно сколько в табличке строк, если мы достаём одну строчку, как размер таблички: помещается ли табличка в буферпул или нет

18:07пожаловаться #9

индексы

18:08пожаловаться #10

запрос дичайше сложный, динамически формируется FULLTEXT, иногда по требованию добавляется number_clear или id при некоторых условиях (попытка сделать умный поиск на сайте)

18:08пожаловаться #11

таблица весит гига 2, а индексы что-то около 4-5

18:09пожаловаться #12

видимо нахерачил я полной чуши а как правильно не понимаю

18:09пожаловаться #13

максимальная выборка на один запрос - 80 строк (пагинация 4 страницы по 20)
в пагинации использую last_id, т.е. вторая страница отработает по кешу первой выборки, OFFSET не используется

18:11пожаловаться #14

запрос всегда конкретный, надо или посмотреть в sys.statement_analysis или через slow log и pt-query-digest найти самые медленные и уже смотреть для них explain. Ну и проверить что innodb_buffer_pool_size большой (если память позволяет, то должен вмещать всю базу).

18:12пожаловаться #15

пул 24 гига, оперативка 64 на сервере

18:12пожаловаться #16

по поводу эксплаин сейчас запущу какой-нибудь посложнее, секундочку

18:12пожаловаться #17