Телеграмм чат группы hadoopusers страница 4586

Size: a a a

Data Engineers

3284 membersпожаловаться на группу

2021 December 03

kvadratura in Data Engineers

почему спарк - франкенштейн?

источник

21:42пожаловаться #1

kvadratura in Data Engineers

почему не для ad-hoc? sql вполне для ad-hoc используют. у спарка есть thriftserver, к которому по jdbc подключаться можно, "как к обычной бд"

а с питоном / скалой вполне себе в ноутбуках делают простыни - ад хоки

источник

21:44пожаловаться #2

No Name in Data Engineers

Я не сказал, что нельзя.
Просто в первую очередь его используют для тяжёлых etl джобов над огроменными массивами данных. А для ad hoc чаще берут что-то с меньшими latency и оверхедом, типа трино/престо, например.
Конечно, ничего не мешает взять спарк. Иногда даже лучше так и поступить, в зависимости от задачи.

источник

21:58пожаловаться #3

Renarde in Data Engineers

всем привет. вопрос к тем кто пишет на Spark+Scala - каким файлообменником (зачеркнуто) логгером вы пользуетесь?

Я знаю про две опции - org.apache.spark.internal.Logging и scala-logging. Второй мне нравится тем что можно конфигурировать форматирование и содержимое логов в одном файле в /src/main/resources вместо того чтобы искать где же на системе лежить log4j.properties, но с другой стороны тогда нужно тащить его как зависимость.

источник

22:55пожаловаться #4

Сергей in Data Engineers

Вечер добрый - сталкивался кто с такой ошибкой - User class threw exception: java.lang.RuntimeException: Unsupported literal type class java.time.LocalDate ?

источник

22:55пожаловаться #5

Sergey Sheremeta in Data Engineers

эти два сообщения друг под другом надо заскринить… прямо блеск и нищета Лас-Вегаса (зачеркнуто) дата-инженерии

источник

23:02пожаловаться #6

tenKe in Data Engineers

Первый. Он тож дружит с лог4ж.пропертис

источник

23:28пожаловаться #7

АК

Алексей Колотвинов... in Data Engineers