Size: a a a

2019 May 15

GP

Grigory Pomadchin in Data Engineers
вот он
источник

N

Nikita Blagodarnyy in Data Engineers
Коллеги, кто не пользуется проприетарным ПО.
источник

ФЧ

Филипп Чистяков in Data Engineers
Ребят подскажите платформу визуализации, которая может обновлять данные на лету из фильтра
источник

N

Nikita Blagodarnyy in Data Engineers
Какие best-practices по заливу в Hadoop реляционных данных?
источник

N

Nikita Blagodarnyy in Data Engineers
Кроме oozie/sqoop джобов
источник

N

Nikita Blagodarnyy in Data Engineers
Ну и там найфайчика
источник

K

KrivdaTheTriewe in Data Engineers
Nikita Blagodarnyy
Какие best-practices по заливу в Hadoop реляционных данных?
Мы нафигачили Спарк джобу, которая схему детектит и переливает в хайв и генератор дагов сделали
источник

K

KrivdaTheTriewe in Data Engineers
Инкрементальное не умеем , но большие таблицы умеем
источник

N

Nikita Blagodarnyy in Data Engineers
Схему в каком смыле? Схему данных или схему БД?
источник

K

KrivdaTheTriewe in Data Engineers
Nikita Blagodarnyy
Схему в каком смыле? Схему данных или схему БД?
Схему бд
источник

N

Nikita Blagodarnyy in Data Engineers
А генератор дагов как работает?
источник

K

KrivdaTheTriewe in Data Engineers
Ну берем условно MySQL и Делаем отображение в хдфс этой таблицы плюс автоматом hive создаем
источник

N

Nikita Blagodarnyy in Data Engineers
Nikita Blagodarnyy
А генератор дагов как работает?
На графовой бд? :)
источник

K

KrivdaTheTriewe in Data Engineers
Nikita Blagodarnyy
А генератор дагов как работает?
Читает конфиг файл и запускает джобы по перегонке
источник

K

KrivdaTheTriewe in Data Engineers
Джобы по перегонке данных - таски эирфлоу
источник

GG

George Gaál in Data Engineers
KrivdaTheTriewe
Джобы по перегонке данных - таски эирфлоу
Фу-фу-фу
источник

K

KrivdaTheTriewe in Data Engineers
George Gaál
Фу-фу-фу
А что такого
источник

K

KrivdaTheTriewe in Data Engineers
Каждый раз sql писать чтобы какой то источник добавить в хадуп?
источник

AZ

Anton Zadorozhniy in Data Engineers
Nikita Blagodarnyy
Какие best-practices по заливу в Hadoop реляционных данных?
а какая реляционка?
источник

N

Nikita Blagodarnyy in Data Engineers
Anton Zadorozhniy
а какая реляционка?
Мелкомягкая
источник