В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

Data Engineers

1719 membersпожаловаться на группу
2020 January 24

AS

Adlet Sarsembaev in Data Engineers
Всем привет, если у меня таблица в hive использует формат ORC, и при удалении колонки, у меня же не будет пересчета таблицы, я все правильно понимаю? Так как ORC для метаинформации использует protobuf, у которого поля могут храниться в любом порядке.
источник
14:21пожаловаться#1

AS

Adlet Sarsembaev in Data Engineers
Или я что-то неправильно понимаю
источник
14:21пожаловаться#2

DG

Denis Gabaydulin in Data Engineers
Если речь идет про удаление из схемы то не будет. А физически данные останутся, они же иммутабельны.
источник
14:29пожаловаться#3

DM

David Manukian in Data Engineers
нашел у clickhouse https://clickhouse.yandex/docs/ru/operations/table_engines/hdfs/, возник вопрос, а не могу ли я вычитать из clickhous'a которая расположена на обычной FS и заинсертить создавая таблицы в hdfs? Был бы неплохой воркэрунд, потом я как понимаю можно просто будет спарком пройтись по директориям. Кто-нибудь пробовал?
источник
14:36пожаловаться#4

A

Ako in Data Engineers
А может кто-то помочь с чтением информации topic kafka в формате json через spark streaming используя pyspark? К сожалению, с помощью примеров из интернета не получилось распарсить.
источник
16:20пожаловаться#5

N

Nikita Blagodarnyy in Data Engineers
Кто-нибудь знает, как можно феникс-клиенту уровень логирования поднять до WARN хотя бы? Что-то не гуглится особо.
источник
18:49пожаловаться#6

N

Nikita Blagodarnyy in Data Engineers
Он вот этим шлаком все логи приложений засрал
источник
18:49пожаловаться#7

N

Nikita Blagodarnyy in Data Engineers
источник
18:49пожаловаться#8

N

Nikita Blagodarnyy in Data Engineers
@lol_dog не фиксил такое?
источник
18:50пожаловаться#9

В

Вадим in Data Engineers
Nikita Blagodarnyy
Кто-нибудь знает, как можно феникс-клиенту уровень логирования поднять до WARN хотя бы? Что-то не гуглится особо.
Там в bin должен быть log4j файлик
источник
19:06пожаловаться#10

AI

Andrei Iatsuk in Data Engineers
Всем привет!
источник
19:12пожаловаться#11

AI

Andrei Iatsuk in Data Engineers
Кто-нибудь может рассказать про паттерны использования Apache Atlas? Он выступает только в роли документации датасетов или через него можно получить к ним доступ?
источник
19:13пожаловаться#12

DZ

Dmitry Zuev in Data Engineers
Atlas это linage, meta
источник
19:15пожаловаться#13

AI

Andrei Iatsuk in Data Engineers
Т.е. только описание данных?
источник
19:16пожаловаться#14

DZ

Dmitry Zuev in Data Engineers
еще linage
источник
19:16пожаловаться#15

DZ

Dmitry Zuev in Data Engineers
и если  ranger прикрутить то еще и контроль доступа
источник
19:17пожаловаться#16

Ik

Ilia ksen in Data Engineers
Атлас это сбор и описание метаинформации
источник
19:22пожаловаться#17

AI

Andrei Iatsuk in Data Engineers
Получается он нужен только как документирование процессов?
источник
19:23пожаловаться#18

Ik

Ilia ksen in Data Engineers
Смотря кто и как его внедряет
источник
19:23пожаловаться#19

Ik

Ilia ksen in Data Engineers
Есть тут ребята которые внедряли DG?
источник
19:24пожаловаться#20