GP
да эт понятно
Size: a a a
2021 January 14
λ
Может кто на containerd прям )
GP
Может кто на containerd прям )
помню у них была своя lmctfy но они бросили ее и поддерживали докер
λ
ну докер тож cri умеет)
λ
так что что у них я хз
GP
ну докер тож cri умеет)
ну в этом суть депрекейта была
TT
Наш архитектор предложил сделать оркестрацию через step functions, а выполнение через glue pyspark.
Этот архытегтор деньги посчитал? Там можно без штанов остаться ибо одним step functions + glue дело не обойдется, придется кучу всего докупать и поддерживать
KS
Tsh Tsh
Этот архытегтор деньги посчитал? Там можно без штанов остаться ибо одним step functions + glue дело не обойдется, придется кучу всего докупать и поддерживать
Не знаю, пока что это mvp, так что по деньгам пока никто не задумывался. А что именно придется докупать?
YI
Не знаю, пока что это mvp, так что по деньгам пока никто не задумывался. А что именно придется докупать?
Почему вам не подходит что-то более простое, вроде oozie?
YI
у вас сложные графы зависимостей?
KS
Почему вам не подходит что-то более простое, вроде oozie?
Если честно, даже не думал об oozie. Наверное это слишком просто и банально для наших гениев.
T
Привет, что то я туплю, подскажите куда копать:
есть emr-5.30.1 кластер
Когда сабмичу джобу на прямую все работает отлично
Как только сабмичу через Oozie то спарк не может подсоединиться к Glue и падает
Вроде в джарники я подложил куда надо, даже пробывал фэтджар делать, но каждый раз одно и тоже
есть emr-5.30.1 кластер
Когда сабмичу джобу на прямую все работает отлично
Как только сабмичу через Oozie то спарк не может подсоединиться к Glue и падает
User class threw exception: org.apache.spark.sql.AnalysisException: java.lang.AbstractMethodError: com.amazonaws.glue.catalog.metastore.AWSGlueDataCatalogHiveClientFactory.createMetaStoreClient(Lorg/apache/hadoop/hive/conf/HiveConf;Lorg/apache/hadoop/hive/metastore/HiveMetaHookLoader;)Lorg/apache/hadoop/hive/metastore/IMetaStoreClient;;
Вроде в джарники я подложил куда надо, даже пробывал фэтджар делать, но каждый раз одно и тоже
ME
А чем в винде проще всего ORC посмотреть? Если не спарком)
K
Хрыч, вот ты опытный траблешутер, скажи мне, это вот очень плохо для ресурс-менеджера?
K
Я не сравниваю, просто идёт пропихивание голанга как убивца связки спарк+питон. О том, что многопоточность далеко не всё, что нужно для дата пайплайна, игнорируется.
У вас там оч интересные люди работают, которые даже не собираются слушать , что такое етл больших данных
E
А чем в винде проще всего ORC посмотреть? Если не спарком)
ME
Elijah
пентест тулы, ух)
ME
спасибо, посмотрю
KS
У вас там оч интересные люди работают, которые даже не собираются слушать , что такое етл больших данных
Тут целый зоопарк 😁
Просто они сделали довольно много проектов вне дата инжениринга, и по позиции выше людей, которые понимают что и как.
Просто они сделали довольно много проектов вне дата инжениринга, и по позиции выше людей, которые понимают что и как.
K
Тут целый зоопарк 😁
Просто они сделали довольно много проектов вне дата инжениринга, и по позиции выше людей, которые понимают что и как.
Просто они сделали довольно много проектов вне дата инжениринга, и по позиции выше людей, которые понимают что и как.
А делегировать не умеют