Size: a a a

2021 August 20

NL

Niko Las in Laravel Pro
Делать построчно, и сохраняй результат выполнения в отдельную таблицу. Даже если упадëт - будешь знать на каком этапе остановилось и продолжишь с предыдущей строки, а последнюю удалишь, ибо хз, обработалась ли она до конца.
источник

DZ

Daniil Zobov in Laravel Pro
есть несколько вариантов:
1) один или несколько view из нужных тебе таблиц на чистом SQL, где отобразишь только нужные тебе данные для группировки, затем запрос к этому view и считай. Это явно быстро.
2) построчно - долго и геморройно и все равно придется за памятью следить
источник

DZ

Daniil Zobov in Laravel Pro
лично я не знаю пока ни одной задачи, где view из кучи таблиц с функциями SQL мне не дали бы желаемого результата
источник

DZ

Daniil Zobov in Laravel Pro
кодом это делать явно дороже - по сути ты забираешь на себя то, что умеет делать отлично оптимизированный движок СУБД
источник

M

Maxx in Laravel Pro
а без Collection, через $query->cursor() — никак?
источник

NL

Niko Las in Laravel Pro
Память не от этого течëт скорее всего. А от того, что результат в памяти держится.
источник

YV

Yushkevich Vitaly in Laravel Pro
Аналитика - это про olap. Варианты на sql уже предложили. Но ещё лучше перекладывать эти данные в отдельные таблицы / базы (например колоночные) и оттуда очень быстро выбирать эти данные
источник

YV

Yushkevich Vitaly in Laravel Pro
+

Можно ещё через map reduce обсчитывать данные на чанках. Но это все про «костыли обработки olap данных на oltp таблицах»
источник

YV

Yushkevich Vitaly in Laravel Pro
Нагрузку oltp и olap лучше разделять
источник

NL

Niko Las in Laravel Pro
Скорее в базы.
источник

YV

Yushkevich Vitaly in Laravel Pro
Ну идеальный вариант - взять КХ. Дальше от возможностей
источник

Д

Дмитрий in Laravel Pro
Видимо лучше задачу в DWH отдел отдать 🌚
источник

M

Maxx in Laravel Pro
идеальный вариант — это создать индексы, чтоб джойнилось всё легко, соптимизировать запросы, утащить обсчёт или хотя бы его часть в базу, и обрабатывать всё построчно, держа в памяти только текущую строку. но можно и модных костылей накидать, да =)
источник

YV

Yushkevich Vitaly in Laravel Pro
Смотря для чего. Если разобраться и научиться решать такие задачи - то нет. Если не парится, то возможно
источник

YV

Yushkevich Vitaly in Laravel Pro
Нет
источник

NL

Niko Las in Laravel Pro
+ за кх
источник
2021 August 21

В(

Владимир (support)... in Laravel Pro
Да, так и есть. А где найти не могу.
источник

EG

Egor Gruzdev in Laravel Pro
курсор не спасет от перегруза базы и объедания памяти не на стороне php, а драйвера который заберет данные из базы (приэтом сожрав память сервера), а потом дозировано будет отдавать в php
источник

d.

dev . in Laravel Pro
напиши где-то перед отдачей ответа header("x:1")
источник

В(

Владимир (support)... in Laravel Pro
Жостко, в файле конфиге mail.php был таб в начале
источник