A4
Которая ничего не умеет, сила ваша то
ну как пишут в интернетах, быстро обучают и гонят на РАБоту
Size: a a a
2020 January 14
DZ
Я таких в дверь гоню обычно
DZ
Примерно после вопроса про шафлинг
A4
тогда это наверное на стоимость квалифицированных специалистов специалистов вообще не влияет?
A4
Примерно после вопроса про шафлинг
в hadoop я знаю что это. Про спарк просто не помню, а времени мало было. Поэтому спрашивал здесь.
DZ
в hadoop я знаю что это. Про спарк просто не помню, а времени мало было. Поэтому спрашивал здесь.
Я так не думаю
A4
ну и ладно
ME
Я таких в дверь гоню обычно
Это если есть из кого выбирать)
ME
в hadoop я знаю что это. Про спарк просто не помню, а времени мало было. Поэтому спрашивал здесь.
В гугле же быстрее и проще? Чем в 9 утра в чатике)
DZ
Это если есть из кого выбирать)
Предлагаешь брать умственноотсталых в любом случае?
DZ
Типа инклюзивность в айти?
ME
Предлагаешь брать умственноотсталых в любом случае?
Если у человека нет нужных знаний, но есть желание учиться и развиваться, то это плюс. Хотя умение гуглить базовые вопросы должно быть изначально, имхо.
DZ
Если у человека нет нужных знаний, но есть желание учиться и развиваться, то это плюс. Хотя умение гуглить базовые вопросы должно быть изначально, имхо.
И он не хочет 250к на старте
ME
Гуглить и читать доки, т.к. в ентерпрайзе может быть что-то такое, чего нет на SO
OP
А в спарке реально через стриминг получить доступ к данным из предыдущих батчей? Обработать - положить , в след батче так же положить и проверить например их объединение ?
Например поток данных вида (ip, ts), хочется выделять сессии и сохранять куда нить только сессии. Без отдельной инмемори никак ?
Например поток данных вида (ip, ts), хочется выделять сессии и сохранять куда нить только сессии. Без отдельной инмемори никак ?
R
А в спарке реально через стриминг получить доступ к данным из предыдущих батчей? Обработать - положить , в след батче так же положить и проверить например их объединение ?
Например поток данных вида (ip, ts), хочется выделять сессии и сохранять куда нить только сессии. Без отдельной инмемори никак ?
Например поток данных вида (ip, ts), хочется выделять сессии и сохранять куда нить только сессии. Без отдельной инмемори никак ?
Похоже на кейс с flatMapWithState
R
* на правах рекламы *
Я вот тут в своем посте это расписываю:
https://medium.com/@polarpersonal/state-storage-in-spark-structured-streaming-e5c8af7bf509
Я вот тут в своем посте это расписываю:
https://medium.com/@polarpersonal/state-storage-in-spark-structured-streaming-e5c8af7bf509
R
либо, если не хочется заморачиваться со всеми этими стейтами, можно просто реализовать логику через foreachBatch по типу:
- записали батч в s3 с айдишником
- прочитали предыдущий айдишник
- склеили с текущим батчем
- записали новый батч.
https://spark.apache.org/docs/latest/structured-streaming-programming-guide.html#foreachbatch
- записали батч в s3 с айдишником
- прочитали предыдущий айдишник
- склеили с текущим батчем
- записали новый батч.
https://spark.apache.org/docs/latest/structured-streaming-programming-guide.html#foreachbatch
N
Типа инклюзивность в айти?
Не инклюзивность, а дайвёрсити.
А вообще спасибо админам, что не дают ронять уровень. Чтобы не было, как в чяте одной _аналитической_субд, где людям отвечают, как элементарный sql написать, а 80% остальных вопросов в поиске не ниже 5 строки выдачи гугла.
А вообще спасибо админам, что не дают ронять уровень. Чтобы не было, как в чяте одной _аналитической_субд, где людям отвечают, как элементарный sql написать, а 80% остальных вопросов в поиске не ниже 5 строки выдачи гугла.