Точнее, это ничем не отличается, что просто репа на проект, что монорепа, там нет ничего больше, чтобы говорить, что это монорепа...

а что не так с иерархичной артифактницей?

я без претензии на спор, я понять пытаюсь. почему питон скалу и джаву и ямл валят в одно место и как потом ci/cd это должен разобрать и раздеплоить.

конфиги всё же стоит держать отдельно

С монорепой артефактница нужна только для докеробразов (ну и С3 для дагов), в этом весь поинт

А почему даги отдельно? Они не версионируются и не меняются?

А я понял сори, вопрос снят))

Привет в группу, есть наверное глупый вопрос, но пока не могу его решить. Есть таблица которая хранится на s3, partition by date в csv формате, из-за того что файл большой сам csv тоже разбился на части. Так вот пишу glue job на pyspark, создаю df на базе этой таблицы, отработало, но на df.show падает с ошибкой IOException: Not a file и ссылка на лакейнш таблицы .csv/
Я так понимаю что проблема в дроблении csv но сама таблица на Athena прекрасно работает. Может кто то сталкивался ?

А вы прямо с s3 читаете или через glue api?

Файлики вида date=2020-10-10/part1.csv?

Я читаю из таблицы ( datacatalog) и пишу в df а файлы выглядят data=2020-10-01/location.csv/part1.csv

И он как раз ругается на location.csv из-за того что это директория

а кто в курсе, в spark 3.0.0 чего сделали с дефолтной параллельностью?

на emr 6.1 (spark 3.0.0) говорю context.parallelize(), получаю 4 екзекутора. хотя на кластер влазит 85.
на emr 5.23 (spark 2.4.0) говорю то же самое, получаю все 85.

а в кластере 4 ноды?

эт амазон чё-то мудит, или поведение поменялось, или я чё-то не вкуриваю?

нод в кластере 8

пытаюсь смигрировать наконец (потому что сколько можно на старье сидеть), но чё-то фигня какая-то. сборку жабы поменяли, GC поменяли, чё-то в кишках тоже поменяли, ещё и с параллелизмом какая-то чушь

никто не напарывался?

какой теперь там gc, g1 по дефолту сделали?