Size: a a a

2020 January 29

DZ

Dmitry Zuev in Data Engineers
это не проблема
источник

DZ

Dmitry Zuev in Data Engineers
если у вас уже все разложено по красоте, сиди пиши sql
источник

VS

Vasily Shabanov in Data Engineers
если бы по красоте, эхъ
источник

AZ

Anton Zadorozhniy in Data Engineers
Vasily Shabanov
Прирост ≈5kk записей в день, но проблема в том, что приходится делать пересчёт минимум за год. Обновился день, обсчитывается полностью весь год.
получается 2млн записей в год, это тормозит на постгре? смотря на чем тормозит, но не факт что это будет быстрее на сливе
источник

VS

Vasily Shabanov in Data Engineers
5 миллионов записей в день
источник

DZ

Dmitry Zuev in Data Engineers
5мл в день
источник

AZ

Anton Zadorozhniy in Data Engineers
ну то есть 2 млрд записей, тоже не ахти объемы
источник

А

Алексей in Data Engineers
зачем спарк, если все считается на sql?
источник

VS

Vasily Shabanov in Data Engineers
не ахти, согласен. Но расчёты подтормаживают
источник

DZ

Dmitry Zuev in Data Engineers
Алексей
зачем спарк, если все считается на sql?
зачем sql если можно спарк
источник

DZ

Dmitry Zuev in Data Engineers
источник

VS

Vasily Shabanov in Data Engineers
Алексей
зачем спарк, если все считается на sql?
сложный вопрос, но он там есть.
источник

А

Алексей in Data Engineers
если логика ложится на множества, то на скл писать быстрей, чем процедурным стилем
источник

AZ

Anton Zadorozhniy in Data Engineers
надо смотреть на каком месте тормозят, если где-то например хранимки по курсору - будет работать даже медленнее на сливе
источник

AZ

Anton Zadorozhniy in Data Engineers
джоины плохие (нестед лупс по всяким условиям неравно) тоже вполне могут сильнее тормозить на сливе
источник

S

Stanislav in Data Engineers
если вас не устроит гп и вы захотите ехать дальше на кх/терадату/вертику/мс скл например - вариант со спарком вроде рабочий )
источник

DZ

Dmitry Zuev in Data Engineers
Stanislav
если вас не устроит гп и вы захотите ехать дальше на кх/терадату/вертику/мс скл например - вариант со спарком вроде рабочий )
зачем спарк то? если кх?
источник

S

Stanislav in Data Engineers
джойны делать
источник

S

Stanislav in Data Engineers
да и в современной инфрастуктуре спарк - это тупо клей
между всеми мегапродуктами, которые впилены в каждом подразделении и продукте
источник

DZ

Dmitry Zuev in Data Engineers
Stanislav
джойны делать
судя по описанию там одна бд, куда всё льют в "нормальном" виде.
источник