AS
Смотрим пока на сколько интересно было бы коллегам работать с данным продуктом (Data Scientist, Data Engineer)
> sap
> Быстро решать
)))
Size: a a a
2021 October 12
N
по-моему с сапом работают исключительно по принуждению «корпоративного стандарта».
А
+1 сделают бд с jdbc доступом, но читать нельзя, покупай EE опцию за милионы денег
N
сап вроде как по условиям лицензии нельзя читать напрямую из базы, только через специальные веб-сервисы.
А
можно, если это Hana EE, в остальных случаях только через abap proxy
A
Всем привет. Пытаюсь оптимизировать джойн двух больших таблиц, смотрю в сторону бакетинга. Начал его использовать, в плане всё стало хорошо, Exchange исчез. Но есть вопрос - в чем принципиальная разница в спарке между repartition(key1,key2,key3).save() и bucketBy(key1,key2,key3).save() ? Я же по идее могу просто вызвать репартишенинг по ключам джойна перед сохранением? эффект же тот же будет?
ES
Подскажите пожалуйста, где спарк хранит стейт для
Какие вообще есть best practice по дедупликации стрима в спарке при условии что дубликат может прийти когда угодно?
.dropDuplicates()? В оперативной памяти или на диске? Или и там и там? Если в стриме без вотермарка делать .
dropDuplicates()можно получить OOM на экзекюторе? Или просто диск забьется?
Какие вообще есть best practice по дедупликации стрима в спарке при условии что дубликат может прийти когда угодно?
T
@asm0dey а смарт дата евенчули выкладывается в открытый доступ? Или остаётся за пейволом на всегда ?
VS
Прошлая в паблике давно
T
Найс, дождусь тогда этой и гляну про функциональный Спарк. @pomadchin там на английском доклад был?
ИК
да, эффект тот же, но во втором случае он постоянный, потому что материализован
ММ
Вопрос по aws glue.
Как разрешить The number of columns doesn't match. Old columns: тут столбцы, new columns: пусто?
Пайплайн 3 операции: чтение 2 фреймов, toDf() для вьюшки и джойн через spark.sql.
Как разрешить The number of columns doesn't match. Old columns: тут столбцы, new columns: пусто?
Пайплайн 3 операции: чтение 2 фреймов, toDf() для вьюшки и джойн через spark.sql.
A
что-то не очень понимаю, что значит «постоянный» и «материализован». У меня что так, что так N паркет файлов появляется в бакете
NN
Про бакетировании инфа запишется в table properties, и если читать дальше с помощью .table, то количество партиций, и их расположение будет фиксированным - удобно, если табличка редко меняется, но часто джойнится с другими.
В ином случае нужно каждый раз при чтении делать .repartition, чтобы получить такой результат.
В ином случае нужно каждый раз при чтении делать .repartition, чтобы получить такой результат.
A
так можно же вызывать .repartition при записи ? и при чтении тогда не придётся
GP
жоская идея
NN
Придется.
Чтение - достаточно сложный процесс, которым управляет набор параметров. Ещё и зависимость от формата есть. Гляньте в конфиги, там найдете.
Чтение - достаточно сложный процесс, которым управляет набор параметров. Ещё и зависимость от формата есть. Гляньте в конфиги, там найдете.
A
Понял, спасибо
ПФ
Через полгода примерно