DZ
это не проблема
Size: a a a
2020 January 29
DZ
если у вас уже все разложено по красоте, сиди пиши sql
VS
если бы по красоте, эхъ
AZ
Прирост ≈5kk записей в день, но проблема в том, что приходится делать пересчёт минимум за год. Обновился день, обсчитывается полностью весь год.
получается 2млн записей в год, это тормозит на постгре? смотря на чем тормозит, но не факт что это будет быстрее на сливе
VS
5 миллионов записей в день
DZ
5мл в день
AZ
ну то есть 2 млрд записей, тоже не ахти объемы
А
зачем спарк, если все считается на sql?
VS
не ахти, согласен. Но расчёты подтормаживают
DZ
зачем спарк, если все считается на sql?
зачем sql если можно спарк
VS
зачем спарк, если все считается на sql?
сложный вопрос, но он там есть.
А
если логика ложится на множества, то на скл писать быстрей, чем процедурным стилем
AZ
надо смотреть на каком месте тормозят, если где-то например хранимки по курсору - будет работать даже медленнее на сливе
AZ
джоины плохие (нестед лупс по всяким условиям неравно) тоже вполне могут сильнее тормозить на сливе
S
если вас не устроит гп и вы захотите ехать дальше на кх/терадату/вертику/мс скл например - вариант со спарком вроде рабочий )
DZ
если вас не устроит гп и вы захотите ехать дальше на кх/терадату/вертику/мс скл например - вариант со спарком вроде рабочий )
зачем спарк то? если кх?
S
джойны делать
S
да и в современной инфрастуктуре спарк - это тупо клей
между всеми мегапродуктами, которые впилены в каждом подразделении и продукте
между всеми мегапродуктами, которые впилены в каждом подразделении и продукте
DZ
джойны делать
судя по описанию там одна бд, куда всё льют в "нормальном" виде.