Size: a a a

2021 March 01

GP

Grigory Pomadchin in Data Engineers
Nikita Blagodarnyy
Вам встречался такой кейс, когда депы нет в мавен ценрал?
нативные не паблишатся в мавен централ
источник

GP

Grigory Pomadchin in Data Engineers
типа там какойнить blas (пример плохой такое конечно везде есть)
источник

AZ

Anton Zadorozhniy in Data Engineers
Grigory Pomadchin
а почему лимиты на поды не считаем?
потому что это микроменеджмент, если нужно гарантировать, например, равный уровень обслуживания двум командам - вы же не будете им давать лимиты на поды?
источник

K

KrivdaTheTriewe in Data Engineers
Nikita Blagodarnyy
Вам встречался такой кейс, когда депы нет в мавен ценрал?
да
источник

GP

Grigory Pomadchin in Data Engineers
Anton Zadorozhniy
потому что это микроменеджмент, если нужно гарантировать, например, равный уровень обслуживания двум командам - вы же не будете им давать лимиты на поды?
ну нет
зато можно будет в рамках одного кластера действительно удобно ранить и джобы и может какие сервисы в другом неймспейсе и все для одной команды испоьзуя одни и теже инстурменты
источник

AZ

Anton Zadorozhniy in Data Engineers
Grigory Pomadchin
ну нет
зато можно будет в рамках одного кластера действительно удобно ранить и джобы и может какие сервисы в другом неймспейсе и все для одной команды испоьзуя одни и теже инстурменты
так мы вроде говорили что очередей нету, как это удобно?
источник

GP

Grigory Pomadchin in Data Engineers
Anton Zadorozhniy
так мы вроде говорили что очередей нету, как это удобно?
ну пусть упираются в лимиты)
источник

GP

Grigory Pomadchin in Data Engineers
или сами организуют
источник

GP

Grigory Pomadchin in Data Engineers
или пусть даже разные кластеры переключение контекста просто предельно простое
источник

AZ

Anton Zadorozhniy in Data Engineers
как раз то что я вижу - страшное размножение кластеров, буквально до кластера на два-три пайплайна
источник

N

Nikita Blagodarnyy in Data Engineers
Поему нельзя закинуть ее в hdfs и указать в —jars? Зачем под это докер городить?
источник

GP

Grigory Pomadchin in Data Engineers
Anton Zadorozhniy
как раз то что я вижу - страшное размножение кластеров, буквально до кластера на два-три пайплайна
у меня конкретно с ярном пробелма что под разную джобу разный ярн кластер и есть
источник

GP

Grigory Pomadchin in Data Engineers
разные машины с разными либами
источник

GP

Grigory Pomadchin in Data Engineers
Nikita Blagodarnyy
Поему нельзя закинуть ее в hdfs и указать в —jars? Зачем под это докер городить?
докер городится ряди нативных либ
и ради тех которые есть в класспасе и конфликтуют
шейдинг не всегда спасет / возможен
источник

K

KrivdaTheTriewe in Data Engineers
Nikita Blagodarnyy
Поему нельзя закинуть ее в hdfs и указать в —jars? Зачем под это докер городить?
а что делать с нативными либами? или с теми либами которые по-умолчанию пихает ярн в класспасс
источник

K

KrivdaTheTriewe in Data Engineers
а что если не дай бох, я хочу запустить джаву 16
источник

K

KrivdaTheTriewe in Data Engineers
Изоляция это всегда здорово)
источник

AZ

Anton Zadorozhniy in Data Engineers
Grigory Pomadchin
у меня конкретно с ярном пробелма что под разную джобу разный ярн кластер и есть
ну вот, а если в один кластер и неймспейс квоты - опять низкая утилизация, за что боролись...
источник

GP

Grigory Pomadchin in Data Engineers
Anton Zadorozhniy
ну вот, а если в один кластер и неймспейс квоты - опять низкая утилизация, за что боролись...
ну почему
источник

GP

Grigory Pomadchin in Data Engineers
я борюсь не с утилизацией
источник