A
Это же классика, разрешать оверповижининг или нет
Size: a a a
2021 November 21
ЕГ
Вот второе не требуется на физической тачке, ресурсы максимально плотно используются
ЕГ
Только успевай следить кто много отхапал
A
Ага, только ходить пинать нужно
ЕГ
Ну можно и дропать процесс же
A
Приходим к вопросу когда дропать и по каким признакам
И чем это будет отличаться от лимитов
И чем это будет отличаться от лимитов
K
ЕГ
Лимит можно недоиспользовать
ЕГ
А тут дропается только в случае переиспользования
ЕГ
Короче, ни одна из систем управления ресурсами не является полноценной, все зашквар😆
A
Да
Поэтому мы request в кубик одни числа кидаем
Но limit уже другие
Условно софт и хард :)
Поэтому мы request в кубик одни числа кидаем
Но limit уже другие
Условно софт и хард :)
A
Я же и сказал про оверповижининг поэтому, нету правильного ответа на него =/
A
Cpu условно эластичный ресурс
А вот память нет =/
А вот память нет =/
2021 November 22
ME
Привет, спарконианцы. А кто-то пользуется параметрами
Оно в целом неплохо работает, но частенько repo1.maven.org не отдает пакетики. Рвутся сессии, не совпадает content-length. Кто как с этим борется?
Я понимаю что можно сделать статическую сборку, но можно ли как-то подкрутить колечество ретраев у этих опций? В документации не нашел
--packages и --repositories у spark-submit?Оно в целом неплохо работает, но частенько repo1.maven.org не отдает пакетики. Рвутся сессии, не совпадает content-length. Кто как с этим борется?
Я понимаю что можно сделать статическую сборку, но можно ли как-то подкрутить колечество ретраев у этих опций? В документации не нашел
AS
Мы все внешние джарники стащили и локально передаем - тогда не будет походов во внешний maven, который может быть не кстати заблочен.
ME
Ну да, мы так раньше тоже делали, просто надоело деражть свою jar-шару
ME
Хочется либо mvn mirror держать, либо уметь ретраить основной
AS
Увы /: Кажется пока альтернативы нет. Даже в плане переопределить репу для джарников.
ME
Ну вообще это странно, сетевой коннект и до jar на внутреннем хранилище тоже может порваться
ЕГ
Надо свой кэш мавена завести
Nexus или Artifactory
Nexus или Artifactory