Size: a a a

2019 May 15

A

Alex in Data Engineers
Без проблем думаю можно гонять и в venv, но мы пошли сразу с докером, он нам интересен тем что пользователи могут сами закидывать нотебук и в нужных им имейджах и с нужными конкретно им зависимостями
источник

GG

George Gaál in Data Engineers
Alex
Без проблем думаю можно гонять и в venv, но мы пошли сразу с докером, он нам интересен тем что пользователи могут сами закидывать нотебук и в нужных им имейджах и с нужными конкретно им зависимостями
Ты не понял
источник

GG

George Gaál in Data Engineers
Я про венв ВНУТРИ докера как вариант установки питона
источник

GG

George Gaál in Data Engineers
Т.к. бывает, что на системный (ВНУТРИ докера) что-то завязано, что ломать нельзя
источник

A

Alex in Data Engineers
источник

GG

George Gaál in Data Engineers
Хотя докер сам по себе необходимость на хосте тащить венвы убирает, ес-но
источник

A

Alex in Data Engineers
Какой-то из этих образов использовали. Хотя не уверен точно, так как есть и на 3.7 у нас образы
источник

AZ

Anton Zadorozhniy in Data Engineers
Nikita Blagodarnyy
Заделитесь по возможности.
fsimage -> offline image viewer -> Spark jobs
источник

A

Alex in Data Engineers
George Gaál
Хотя докер сам по себе необходимость на хосте тащить венвы убирает, ес-но
Основные существующие проблема у докера на ярне:
1) так как ранает он docker run image_name, то latest образы кешируются и не обновляются (у них есть тикет на это, не знаю когда сделают). Поэтому мы используем теги конкретных версий всегда

2) отсюда вторая проблема и вылазит: у тебя на хосте вагон разных имейджей которые уже не нужны. Решается скриптом который ходит и периодически вызывает удаление всех образов которые не имеют контейнеров
источник

A

Alex in Data Engineers
Сам ярн чистить периодически старые имейджи не умеет, тоже где-то тикет на эту тему видел
источник

GG

George Gaál in Data Engineers
Alex
Основные существующие проблема у докера на ярне:
1) так как ранает он docker run image_name, то latest образы кешируются и не обновляются (у них есть тикет на это, не знаю когда сделают). Поэтому мы используем теги конкретных версий всегда

2) отсюда вторая проблема и вылазит: у тебя на хосте вагон разных имейджей которые уже не нужны. Решается скриптом который ходит и периодически вызывает удаление всех образов которые не имеют контейнеров
Ну, это не ярн специфичная проблема
источник

GG

George Gaál in Data Engineers
Ни первая, ни вторая
источник

A

Alex in Data Engineers
Ну, кубик со стороны администрирования ещё не пинал, потому считал что он за собой подчищает неиспользуемые образы
источник

GG

George Gaál in Data Engineers
Alex
Ну, кубик со стороны администрирования ещё не пинал, потому считал что он за собой подчищает неиспользуемые образы
Кубик != Докер
источник

GG

George Gaál in Data Engineers
Для начала там можно вжахнуть пулл полиси алвайз
источник

GG

George Gaál in Data Engineers
А второе, что, да, там должен быть gc для образов
источник

A

Alex in Data Engineers
Ну в данном случае ярн выступает оркестратором, пускай и более слабым чем кубик
источник

A

Alex in Data Engineers
Поэтому и ожидаешь некоторых возможностей, но пока их нет
источник
2019 May 16

DP

Dumitru Preguza in Data Engineers
Есть Spark DataFrame как сохранить его в HBase ?
spark 2.3.0
hbase 2.1.4
источник

AZ

Anton Zadorozhniy in Data Engineers
Dumitru Preguza
Есть Spark DataFrame как сохранить его в HBase ?
spark 2.3.0
hbase 2.1.4
источник