ничего не значит, это была шутейка

хотя раз откатили, наверное что-то не так опять

Трансляции с data fest https://www.youtube.com/channel/UCM9ECBAZtlLeEr-m3ldZ7Tw

А как логику, которая сейчас в теле скрипта обернуть в функцию, и эту ф-ю передавать в torch.multiprocessing.spawn. чтобы первым аргументов в эту функцию придет текущий ранк.

?

Кто-нибудь сталкивался с такой ошибкой Cloudera при настройке Алертов?

java.lang.NullPointerException:
at AlertData.java line 127
in com.cloudera.server.web.cmf.AlertData isParamSpecEnabled()

Версия CM 5.11.

На форумах ничего кроме "обновитесь" не нашёл.

java.lang.NullPointerException:
at AlertData.java line 127
in com.cloudera.server.web.cmf.AlertData isParamSpecEnabled()

Наверное нужно обновить :) сталкивался с ошибками в cloudera agents python code, или свои патчи накатываешь или просто обновляешь :)

Всем привет. Помогите, пожалуйста, добрым советом, статьей или просто подсказкой.
У меня есть 20 кафка-топиков, касандра и спарк в мезосе, которому можно использовать 4Гб памяти. Данные из кафки я сохраняю в касандру с помощью спарк-стриминга. На одну спарк-джобу нужно 512Мб (если меньше джоба просто не запускается).
В определенный момент, данные из кафки заканчиваются и я хочу "приостановить" джобу, дать ресурсы другой, а когда и там все данные из кафки вычитаны, "приостановить" текущую джобу и дать ресурсы третей джобе в очереди и т.д. Кто-то у себя похожее настраивал? есть ли для этого инструменты у самого спарка?

Эм. Мне кажется, что это стриминг, но кривой

Почему бы нормальный консьюмер не написать и работать в потоке ?

Можно повесить какую-то логику на мониторинг лага, но этой логике тоже потребуется память 🙂 Ну или на крон повесить.. Вообще если вы так по памяти прижимаетесь наверное нужно потратить ресурсы на что-то другое

а потом когда лаг появится - вы будете эвиктить джобы чтобы дать ресурсы стримингу? обычно от стриминга ожидание определенных гарантий, а такая экономия сделает это сложнее

Можно сделать батч джобу

в будущем таблицы касандры, в которые мы сейчас сохраняем данные будут удалены. Но нужно будет делать разного рода вычесления и сохранять в несколько таблиц, возможно читать из двух топиков и соединять их в один rdd. В общем, сейчас можно и простым консьюмером, но есть желание на вот такой задаче получше пощупать спарк, чтобы потом с его помщью делать вещи посложнее

Вернее на стриминг повесить триггеред ванс

И запускать раз в час условно

Переписывать ничего не нужно

Это если на структурном стриминге

сейчас у меня вопрос больше по поводу возможно ли в приципе подобное?. Увеличить количесвто ресурсов мы всегда успеем)

я думал о том, чтобы стопнуть джобу и сразу закинуть ее в очередь. Как ресурсы на джобы в очереди свободны, она начинает работу