VP
Так этим пивотал и занимается уже. Они ананосировали что каждая следующая версия GP будет догонять актуальную версию PG. Можно в чатике по гп про это подробнее узнать
работа не волк.
пока кластер считает, программист — треплется ;)
Size: a a a
2021 April 26
R
Терадата больше под бизнес критичные отчёты витрины, а хадуп для исследования, если упадёт не так критично
AE
всегда интересно было, а что означает "хадуп" в таких вот утверждениях
AE
это ж блин куча разрозненных библиотек
AE
и компонентов
AE
из которых собрать можно ну мильён совершенно разных фиговин
AE
"у нас хадуп" == "у нас радикулит"
V
У радикулита битность повыше)
A
привет, вот такой вот вопрос - скажем есть у меня EMR кластер и я туда насабмитал 1000 спарк джоб, но ресурсов у кластера есть только на 10 из них чтобы запустить в паралель. Будут ли остальные 995 стоять в очереди и ждать пока ресурсы появятся или же отвалятся сразу ? Если будут стоять в очереди - то как долго - бесконечное кол-во времени или там есть понятие таймаута после которого они начнут отваливаться ?
V
Он же позволяет скейлится... Или вы хотите посчитать до упора на оставшиеся)?
A
интересует само возможное поведение кластера если скажем скейлиться дальше он уже не может
AE
чем сабмитили? livy, например, умеет таймаут задавать
AE
да и вообще, для таких дел неплохо иметь CI какой-нить, чтобы джобы в нём висели, а не на кластере
A
сабмитим Airflow
A
мой вопрос теоретический - как поведет себя EMR кластер если Airflow попробует засабмитить ему 1000 спарк джоб. EMR примет их всех и поставит во внутреннюю очередь либо отстрелит Airflow с ошибкой если тот же YARN не будет иметь ресурсов для очередной джобы ?
GP
смотря как сабмитишь
прост не вижу тут вопроса
прост не вижу тут вопроса
GP
у тебя в любом случае будет очередь, и она будет ярном рзабираться учитывая твой паралелизм
AZ
может и так и эдак, зависит от того какой кластер, какие приложеньки, и какие настройки
AZ
но вообще в EMR настраивать очередит CapacityScheduler это такое, обычно толкают последовательные джобы на одном кластере, а параллельные - на разных (если только они не очень мелкие)