AZ
хранимые процедуры не ереносимы
логика на спарке не переносима, решили мы на бим поехать - куда деваться?
Size: a a a
2020 March 31
K
логика на спарке не переносима, решили мы на бим поехать - куда деваться?
бим более примитивный продукт и менее переносимый
AZ
бим более примитивный продукт и менее переносимый
расскажите это несчастным пользователям dataflow, как они мучаются бедные
AZ
ну и по поводу меньше переносимости бим - это толсто )
K
ну и по поводу меньше переносимости бим - это толсто )
AZ
а где такая табличка для Spark?
K
нету
AZ
то есть спарк получается непереносим?
K
получается , что спарк инструмент с открытым исходным кодом, который опережает все аналоги по всем параметрам, но да , получается также, что я загнал себя в логическую ловушку и непереносим
AZ
получается , что спарк инструмент с открытым исходным кодом, который опережает все аналоги по всем параметрам, но да , получается также, что я загнал себя в логическую ловушку и непереносим
ну ладно, не грустите, я вас завел туда)
K
мне н особо нравится, что для стандартных задач( выгрузка порции данных), нужно каждый раз писать код
K
это все менеджится
AZ
нужно один раз написать (или дописать чужое) и использовать
K
ну вот у меня пока на спарке написано
AZ
я во всех больших даталейках вижу либо полностью свой пакетный инджест тулинг, либо что-то настолько до неузнавания дописанное что узнать что там внутри невозможно (и это никогда не спарк)
AZ
ну или проприетарщину вроде того же abinitio
AZ
а вам попадались случаи тысяч и десятков тысяч мелких таблиц? не жалко это спарком обстукивать?
K
а вам попадались случаи тысяч и десятков тысяч мелких таблиц? не жалко это спарком обстукивать?
да
K
попадались
K
если одной схемы