Без проблем думаю можно гонять и в venv, но мы пошли сразу с докером, он нам интересен тем что пользователи могут сами закидывать нотебук и в нужных им имейджах и с нужными конкретно им зависимостями

Ты не понял

Я про венв ВНУТРИ докера как вариант установки питона

Т.к. бывает, что на системный (ВНУТРИ докера) что-то завязано, что ломать нельзя

Хотя докер сам по себе необходимость на хосте тащить венвы убирает, ес-но

Какой-то из этих образов использовали. Хотя не уверен точно, так как есть и на 3.7 у нас образы

fsimage -> offline image viewer -> Spark jobs

Основные существующие проблема у докера на ярне:
1) так как ранает он docker run image_name, то latest образы кешируются и не обновляются (у них есть тикет на это, не знаю когда сделают). Поэтому мы используем теги конкретных версий всегда

2) отсюда вторая проблема и вылазит: у тебя на хосте вагон разных имейджей которые уже не нужны. Решается скриптом который ходит и периодически вызывает удаление всех образов которые не имеют контейнеров

Сам ярн чистить периодически старые имейджи не умеет, тоже где-то тикет на эту тему видел

Ну, это не ярн специфичная проблема

Ни первая, ни вторая

Ну, кубик со стороны администрирования ещё не пинал, потому считал что он за собой подчищает неиспользуемые образы

Кубик != Докер

Для начала там можно вжахнуть пулл полиси алвайз

А второе, что, да, там должен быть gc для образов

Ну в данном случае ярн выступает оркестратором, пускай и более слабым чем кубик

Поэтому и ожидаешь некоторых возможностей, но пока их нет

Есть Spark DataFrame как сохранить его в HBase ?
spark 2.3.0
hbase 2.1.4