T
Друзья давайте с офтопом в джобсы пожалуйста
Size: a a a
2021 June 07
ME
там же стандартные есть...
SS
спасибо!
S
Так а что грит мониторинг жвм дата нод?
S
Все пишут про количество тредов, по идее в графане должна быть прямая линия на цифре из конфига хадупа
KS
Можно ли получить S3 object metadata при записи данных в glue spark?
KS
Задача получить ETag после
df.write.parquet(s3_bucket)KS
Можно конечно и после записи пробежаться по списку путей, но это дополнительные запросы.
A
Здесь тётеньки тоже есть 🥲
TM
Может ему больше дяденьки нравятся, у всех свои вкусы, не переживайте :)
2021 June 08
A
@dartov может сталкивался с vast s3 ?
а то в чате судя по всему или реальный s3 или все minio пиарят
а то в чате судя по всему или реальный s3 или все minio пиарят
АБ
Не знаю по каким причинам, но у меня проект переезжал с vast на minio
A
у нас в контексте того что подумывают вынести часть нагрузки в облако начинают смотреть замену hdfs
а так как s3 протокол это почти стандарт, то и рассматриваются варианты minio и другие
а так как s3 протокол это почти стандарт, то и рассматриваются варианты minio и другие
AZ
Нет, я только с Isilon из таких решений пересекался
A
просто быстрый взгляд показывает что они вроде как декларируют allflash
но тогда это как замена hdfs точно не пойдёт нам
слишком дорого будет на наши объёмы
но тогда это как замена hdfs точно не пойдёт нам
слишком дорого будет на наши объёмы
A
в итоге и не могу понять что они конкретно поставляют
целиком железяки с флешем внутри?
целиком железяки с флешем внутри?
AZ
Это разного класса решения, конечно, если у вас нет таких требований по латенси - зачем платить за все это счастье
AZ
Железки
A
спасибо