AZ
Как я уже писал, я вас понял и дальше у меня нет желания общаться с человеком, который плохо понимает предметную область
Это у нас взаимно
Size: a a a
2020 November 25
VS
Вот и славно
GA
улетел в бан за ссылку на гит без постов ранее
?
a
Не бери в голову, я кидал ссылку на гит выше
GP
бот сагрился)
2020 November 26
O
а можно как-то к ec2 привязать облако яндекса, чтобы airflow крутился в ec2, но когда нужно большие объемы данных перегонять из внутренних систем в яндекс через операторы airflow трафик бы не гонялся через aws, кто-нибудь так делал?
P
Как я уже писал, я вас понял и дальше у меня нет желания общаться с человеком, который плохо понимает предметную область
Че-то вы тут решаете далекие от бизнеса задачи)) ну, ради того, чтобы сделать норм, пытливый инженерный ум будет удовлетворен))
K
Предлагаю вам пройти в джобсы
2020 November 27
S
Переслано от KrivdaTheTriewe
кто как сейас компактинг данных делает для структурного стриминга? Раньше была проблема, что если руками сжать партицию, другая спарк джоба падала в случае попытки чтения из корня директории храненения ввсех данных, так как спарк пишет в __spark_metadata имена уже записаных файлов
в спарк чатике подсказали?
это вот этот ишью https://issues.apache.org/jira/browse/SPARK-30462 ?
это вот этот ишью https://issues.apache.org/jira/browse/SPARK-30462 ?
A
Всем привет. Подскажите, пожалуйста, как спарк менеджит свои опции в рантайме и трансформации над датафреймом. Например, я делаю:
то есть спарк как-то будет понимать, что конкретно эта опция включена только для одной трансформации? Или драйвер просто включит это для всех трансформаций в рантайме
df.transform(..)
.transform(...)
val sparkContext = df.sparkSession.sqlContext
sparkContext.setConf(AllowPrecisionLossOption, "false")
df.transform( ...some calcs...)
sparkContext.setConf(AllowPrecisionLossOption, "true")
df.transform(..)
.transform(...)
то есть спарк как-то будет понимать, что конкретно эта опция включена только для одной трансформации? Или драйвер просто включит это для всех трансформаций в рантайме
r
не для всех
r
опция будет включена для eager операций в конкретном контексте где эти параметры были переданы
r
transform lazy, если что. В случае кода выше если ты вызовешь терминальный метод то будет принята конф sparkContext.setConf(AllowPrecisionLossOption, "true")
A
transform lazy, если что. В случае кода выше если ты вызовешь терминальный метод то будет принята конф sparkContext.setConf(AllowPrecisionLossOption, "true")
то есть получается, что опция "false" вообще ни к одной трансформации не применится? (учитывая, что дефолтная это "true")
ТВ
Коллеги, кто нибудь работал с amazon s3 ?
Подскажите плиз, как получить объекты из директории бакета, если мне через ACL открыт доступа только к одной папке и нет доступа к бакету? Желательно питоном.
Подскажите плиз, как получить объекты из директории бакета, если мне через ACL открыт доступа только к одной папке и нет доступа к бакету? Желательно питоном.
T
Коллеги, кто нибудь работал с amazon s3 ?
Подскажите плиз, как получить объекты из директории бакета, если мне через ACL открыт доступа только к одной папке и нет доступа к бакету? Желательно питоном.
Подскажите плиз, как получить объекты из директории бакета, если мне через ACL открыт доступа только к одной папке и нет доступа к бакету? Желательно питоном.
boto3.s3 вам в помощь
ТВ
boto3.s3 вам в помощь
да вот гуглю перегуглю. Не находится ответ. во всех примерах берется список объектов по префиксу. А так как к бакету нет досутпа, выскакивает ошибка "Access Denied"
T
да вот гуглю перегуглю. Не находится ответ. во всех примерах берется список объектов по префиксу. А так как к бакету нет досутпа, выскакивает ошибка "Access Denied"
проверте настроки доступа, может у вас там только get стоит а вы list пытаетесь сделать
ТВ
проверте настроки доступа, может у вас там только get стоит а вы list пытаетесь сделать
на просмотр прав тоже нет доступа.
T
ну кто то же вам их дал, попросите проверить его/ее/их