ПФ
1. Ставим эирфлоу
Size: a a a
2021 May 18
UD
Ну как минимум виндовый шедулер
UD
Дальше насколько хватит полета фантазии
ME
даги на виндовом планировщике? А так можно?
ME
Хотя... Если запущенная программа будет посылать ивент в журнал винды, то можно настроить триггер другой джобы на этот ивент)
N
А у вас информатика на виндовз сервере не стоит?
T
Привет, я тут с глупым вопросом про delta lake, извините. Я что то не понял что происходит с изначальным дата фаилом в нем когда приходит usert. Будет ли генерироваться новый фаил содержащий изменения ? Если да то что происходит со старой версией? Или он просто все кладет в лог и потом при чтении (или на этапе компатинга) накладывает его на оригинальный фаил?
N
Ты что ли бенчмаркаешь новомодные датаформаты с апдейтами?
T
А все нашел у бриксов в блоге как оно работает
T
Ну почти мне надо, зажечь народ смигрироваться а не городить велосипеды. А для этого надо сначала подготовить почту простым интродакшенари. А бечмаркинг и внедрение я делегирую
T
Я же в корпорации работаю, там шаг ноль это внедрить идею, как можно большему числу людей и показать что вон мир как далеко ушел.
2021 May 19
N
До худей не дошёл?
AB
привет! попросили про spark sql лекцию+семинар провести, а у меня кажется материала не набирается - простые квери, агрегаты, джойны, UDF, паркет, что бы вы добавили в такое?)
идея есть какой-то сложный агрегат накрутить, визуализацию результата может быть, джойны похитрее и побенчмаркать в сравнении с RDD
идея есть какой-то сложный агрегат накрутить, визуализацию результата может быть, джойны похитрее и побенчмаркать в сравнении с RDD
ЕГ
Можно поставить windows subsystem for linux, а дальше по отработанной схеме)
ЕГ
Взаимодействие с hive metastore, jdbc sources
AB
а что-то более завёрнутое на сам spark sql
может агрегации какие интересные?
jdbc может быть
может агрегации какие интересные?
jdbc может быть
ЕГ
Множественные оконные функции с вынесением общего окна, например
AB
звучит стильно, а есть пример, я может не до конца понимаю, что ты имеешь ввиду
ЕГ
N
Семи джойн, анти джойн, натурал джойн. Замена ина на экзист, чтобы избавиться от бродкаст нестед лупс. Примеры бродкастинга и хинтования.