GP
спарк нативный на мезосе тоже есть
Size: a a a
2019 June 26
DZ
ну я про менаджмент окружения скорей
GP
ну кубер привлекет тем, что если у тебя все настрено - то ты что локально сабмититшь таски
что удаленно
что у себя на хосте поднимаешь конетенры
что удаленно
что удаленно
что у себя на хосте поднимаешь конетенры
что удаленно
GP
все очень удобно и унифицированно
DZ
у меня боль с питоном. после убер джара бесит оч
GP
ах ну да ты напомнил
GP
очень удобно поддерживать спарк и спарко депы изолированы в кубере
GP
фактически у тебя отдельный контейнер на ехекуторы, на драйвер
GP
туда можно пихать что хочешь - это довольно просто и ускоряет и деплой и разработку
туда 1 раз в конетйр завернул какуюнить фортрану либу которую использует твой JNI и все отлично
или какойнить мл
туда 1 раз в конетйр завернул какуюнить фортрану либу которую использует твой JNI и все отлично
или какойнить мл
GP
на том же амазоне для EMR приходит костылить костыльные бутстрап скрипты 😵 билдить все в рпмы для ускорения развертывания кластера и тп
GP
у меня боль с питоном. после убер джара бесит оч
а как это связано с кубером и мезосом?)
GP
и чем уберджар плох?
DZ
наоборот, убер джар секси
DZ
а питон венв не секси
DZ
и что если у тебя есть возможность запускать в контейнере с нужным питонячим венвом это оч круто
GP
DZ
саентологи надобавляли тебе 100500 кастомных зависимотей, ci собрал образ и у тебя нет боли с тем как это деливерить
GP
ну попроуй мезос
мы бы в том моем опыте пробовали бы мезос т.к. на момент нативного спаркокубера он был такой зеленый и мы много поели
но в итоге все хорошо работает достаточно; но было непреодолимое действие внешних сил которое заставило кубер иметь
мы бы в том моем опыте пробовали бы мезос т.к. на момент нативного спаркокубера он был такой зеленый и мы много поели
но в итоге все хорошо работает достаточно; но было непреодолимое действие внешних сил которое заставило кубер иметь
GP
ну попроуй мезос
мы бы в том моем опыте пробовали бы мезос т.к. на момент нативного спаркокубера он был такой зеленый и мы много поели
но в итоге все хорошо работает достаточно; но было непреодолимое действие внешних сил которое заставило кубер иметь
мы бы в том моем опыте пробовали бы мезос т.к. на момент нативного спаркокубера он был такой зеленый и мы много поели
но в итоге все хорошо работает достаточно; но было непреодолимое действие внешних сил которое заставило кубер иметь
кстати интересно как 3д пати депы в спарк нативе на мезосе сабмитятся