GP
Новый, твой, восьмой! (Спарк Митап) https://moscowspark.timepad.ru/event/1032150/
И также Сцилла саммит в СФ: https://www.scylladb.com/scylla-summit-2019/
И также Сцилла саммит в СФ: https://www.scylladb.com/scylla-summit-2019/
Size: a a a
2019 August 13
АЖ
А чо спарк пинить, все равно места кончились :)
GP
А чо спарк пинить, все равно места кончились :)
чтоб не забывали
АЖ
чтоб не забывали
Справедливо
DY
строг, но справедлив!
2019 August 14
ЕШ
Вопрос по oozie workflow.
Есть ли возможность в workflow, чтобы запустить запрос вида SELECT count(1) FROM schema.table, а результат его вернуть переменной oozie?
Есть ли возможность в workflow, чтобы запустить запрос вида SELECT count(1) FROM schema.table, а результат его вернуть переменной oozie?
OP
А где директория с темплейтами для nifi, и реально ли через ансибл развернуть проект-темплейт ?
S
А где директория с темплейтами для nifi, и реально ли через ансибл развернуть проект-темплейт ?
Там рест апи для такого
АЖ
хороший пароль был, надежный
A
Привет.
Не подскажите какие есть алтернативы singer.io для API интеграций, но у которых поддержка более активная?
Не подскажите какие есть алтернативы singer.io для API интеграций, но у которых поддержка более активная?
K
было у кого,что Спарк Structured Streaming создает пустые орк файлы в партиции по 3 байта и всё(файл по-сути закоррапчен)
K
2.3.1 спарк от хдп
GP
что значит пустые орк файлы?) ты как их создаешь
GP
если у тебя партиции пустые то на 2.3 спарке он должен создавать пустые орк файлы
GP
попробуй юзать
spark.sql.orc.impl=nativeRI
Так локально работае или нет?
Спасибо. Все решил подправив spark-env.conf который отредактировал специально под новую версию спарка. Переменные окружения просто убрал. Они все внутри конфига оказались.
GP
Спасибо. Все решил подправив spark-env.conf который отредактировал специально под новую версию спарка. Переменные окружения просто убрал. Они все внутри конфига оказались.
👍
AS
Всем привет, ребята, а есть ли возможность отвязать storagepolicy в версии хадуп 2.6.0?
AS
в 3 есть unsetStoragePolicy
AS
Всем привет, ребята, а есть ли возможность отвязать storagepolicy в версии хадуп 2.6.0?
т.е. какой нибудь способ