t
не думаю, что это из-за этого
Size: a a a
2021 July 28
А
может подскажете настройку? set spark.sql.hive.convertMetastoreOrc = true; включено
t
скорее всего действительно векторизованное чтение или еще что-то
А
но тут даже по filesystem read data size total видно разницу
t
посмотри в spark.sql("SET -v").filter('key.contains("orc")).show()
ИК
Эх, мне бы спарк 3 на кластере(( Хотя на горизонте уже виден)
AB
Вот переедем на SDP, потом можно и Spark 3 ))
CO
Всем привет
сижу на AWS glue
не подскажите, 40 млн строк 43 колонки партия по часам забираю с mysql пишу в s3, период 4е дня
запись предположильно 50-60 мин, это долго ?
8*2 воркеров
10 concurency
сижу на AWS glue
не подскажите, 40 млн строк 43 колонки партия по часам забираю с mysql пишу в s3, период 4е дня
запись предположильно 50-60 мин, это долго ?
8*2 воркеров
10 concurency
CO
Вроде как разошлось мнение что быстро и не быстро
Вот сам скрипт
https://pastebin.com/LJcYTyXw
Куда копать ?
Вот сам скрипт
https://pastebin.com/LJcYTyXw
Куда копать ?
☭S
Когда вообще не понятно, и план вроде как выглядит норм, а всё равно беда - тогда вставляю чекпоинты с персистом, чтобы понять, какой кусок кода хоть смотреть....
2021 July 29
D
Всем привет, а подскажите, плз, есть ли возможность при spark-submit'е прокинуть окружение в мастер/экзекьютор, используя другие переменные окружения, которые будут определены в контейнере? Нужно что-то, зависящее от PWD контейнера
D
нет:(
я видел в сорцах ярна, что при сабмите приложений через REST API, например, можно шаблонизацию делать, но там, вроде свой механизм. связка spark-submit <-> YARN Client, насколько я пока понял, так не умеет, вот и решил чекнуть еще раз здесь
я видел в сорцах ярна, что при сабмите приложений через REST API, например, можно шаблонизацию делать, но там, вроде свой механизм. связка spark-submit <-> YARN Client, насколько я пока понял, так не умеет, вот и решил чекнуть еще раз здесь
2021 July 30
М
Добрый день, кто то сталкивался с расширением sparkmagic на jupyter, spark-livy годится для эксплуатации?
A
да, используем активно
A
проблема только в том что для третьего спарка ливи нужно из мастера собирать
A
релиза вроде ещё не было
М
а керберос подключали в него?
A
да
A
стоит за керберосом, хадуп тоже с керберосом