VK
Можно чанками обновлять (limit/offset)
чанками идея правильная
а вот offset не советовал бы юзать
Size: a a a
2021 June 28
EK
VK
Можно по суррогатному ключу, пример https://www.db-fiddle.com/f/3b9ikSV9eoRT33suAMx7Fd/1
mod(person_id,10) - суррогатный ключ
mod(person_id,10) - суррогатный ключ
EK
в его случае хватит лимита
EK
ему надо проставлять колонку обработанным записям
EK
и тогда хватит только limit
EK
еще вариант что вариаций там не так много
EK
можно просто получить все уникальные названия городов (удалив из них спецсимволы и тд) что есть в бд
там будет штук 100 записей
и сделать таблицу соответствия ручками какая строка к какому городу относится по иду
и просто сопостовлять
там будет штук 100 записей
и сделать таблицу соответствия ручками какая строка к какому городу относится по иду
и просто сопостовлять
2021 July 12
e
SQLite
в таблицу набилось 5 млн записей и SELECT с несколькими условиями почти секунду занимает. Можно ли сильно ускорить?
На самом деле работа идет с последними несколькими тысячами записей, могу ли я, например, удалять и перемещать ненужные в какую-то архивную таблицу, или это еще медленнее в сумме будет?
в таблицу набилось 5 млн записей и SELECT с несколькими условиями почти секунду занимает. Можно ли сильно ускорить?
На самом деле работа идет с последними несколькими тысячами записей, могу ли я, например, удалять и перемещать ненужные в какую-то архивную таблицу, или это еще медленнее в сумме будет?
EK
а индекс есть по дате ?
EK
как ты определяешь последние несколько тысяч ?
есть ли explain этого запроса
есть ли explain этого запроса
EK
разносить на разные таблицы смысла не вижу, проще сделать индекс по дате создания например и фильтровать выборку по этому индексу чтобы не по всем 5 млн записям лазить, а скажем created_at > ....
e
по дате нет, пробовал толькл индекс на пару разных полей, но почти не ускорилось
e
проверяю логически, сделал SELECT, у себя в софте что-то проверил, и все, часть записей в этой таблице больше не нужна никогда
e
я вот и задумался, нафига мне все эти миллионы, но не знаю насколько быстро будет удаление старых и что там будет с вакуумом
EK
не надо ничего удалять
EK
зачем мучить диск
EK
просто сделай удобный индекс по дате создания или еще чем то и выберай корректно
EK
смотри explain запроса