John Galt, [27 сент. 2021 г., 16:05:53]:
ребят подскажите плиз кто опытный, задолбался всю неделю сижу оптимизирую систему.
Короче перебираю большое количество строк из csv файл (более 24 млн)
Далее делаю несколько различных запросов (LIKE '%str%') в таблицу где записей 10 млн+
После в случае совпадения делаю инсерты, апдейты и делейты)
Короче уже все переиспользовал и генераторы и итераторы, и полнотекстовые индексы, и запросы прооптимизировал, чистил доктрину, уничтожал переменные и тп и все равно утечка памяти
скрипт будет крутиться на AWS, но каждый гигабат стоит денег, поэтому задачу максимально оптимизировтаь сие добро
микросервис использует Симфони 4+ и Доктрину 2+
может есть нестандартные решения таких вопросов (или стандартные которые я упускаю)
* индексы не предлагать т.к вынужден использовать' %str
может есть нестандартные решения таких вопросов (или стандартные которые я упускаю)
* индексы не предлагать т.к вынужден использовать' %str