В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

Data Engineers

1724 membersпожаловаться на группу
2019 September 25

AZ

Anton Zadorozhniy in Data Engineers
Nikolay
Не знаком с термином- это что? (Про transient backward compatible).
У всех прилетает обновление схемы с новыми данными, вам нужно проверить что обновление обратно совместимо не только с предыдущей версией, но и всеми предыдущими версиями этой схемы
источник
21:56пожаловаться#1

N

Nikita Blagodarnyy in Data Engineers
Nikolay
Добрый день, коллеги, никто не делал сравнение функциональности/производительности Azure DataFactory с другими ETL/ELT  решениям (DataStage, Informatica, Talend, etc.) ? Или, возможно есть ссылки на соответствующие статьи?
Только информатику не берите.
источник
21:59пожаловаться#2

N

Nikolay in Data Engineers
Nikita Blagodarnyy
Только информатику не берите.
Почему?
источник
22:02пожаловаться#3

N

Nikita Blagodarnyy in Data Engineers
Ну она тупо не работает в 70% кейсов.
источник
22:03пожаловаться#4

N

Nikita Blagodarnyy in Data Engineers
В случае с ходупом
источник
22:03пожаловаться#5

N

Nikolay in Data Engineers
А, нет. Меня источники данных мало интересуют. Равно и возможность трансформации средствами spark или MR. Только натив. Потому что если будет работать Azure, то из Blob Storage в мелкомягкое sql изделие (там их плеяда), если другое etl - то им не особо важны источники
источник
22:06пожаловаться#6

AZ

Anton Zadorozhniy in Data Engineers
AbInitio тоже не берите, у него даже RCP нету)
источник
22:08пожаловаться#7

N

Nikolay in Data Engineers
Хорошо, спасибо, не буду)
источник
22:09пожаловаться#8

N

Nikolay in Data Engineers
Anton Zadorozhniy
У всех прилетает обновление схемы с новыми данными, вам нужно проверить что обновление обратно совместимо не только с предыдущей версией, но и всеми предыдущими версиями этой схемы
С эти согласен, но мне сложно придумать где это нужно? Я так понимаю,  что есть выстраданный кейс?
источник
22:11пожаловаться#9

AZ

Anton Zadorozhniy in Data Engineers
Nikolay
С эти согласен, но мне сложно придумать где это нужно? Я так понимаю,  что есть выстраданный кейс?
Стандартная фича schema registry например у confluent
источник
22:11пожаловаться#10

N

Nikolay in Data Engineers
А нельзя вытащить текущие метаданные и сгенерировать схему? Затем просто сравнить их с метаданными потока и разницу объявить в osh как nullable?
источник
22:13пожаловаться#11

AZ

Anton Zadorozhniy in Data Engineers
Nikolay
А нельзя вытащить текущие метаданные и сгенерировать схему? Затем просто сравнить их с метаданными потока и разницу объявить в osh как nullable?
В схеме обычно написано какой должен быть default, но тут изначальный вопрос не как запихать это в инструмент, а можно ли инструменту сказать что у этого потока есть вот такие правила эволюции схем, такие версии, и чтобы все это отразилось в линедже, операционных метаданных, и дата каталоге
источник
22:16пожаловаться#12

N

Nikolay in Data Engineers
Anton Zadorozhniy
В схеме обычно написано какой должен быть default, но тут изначальный вопрос не как запихать это в инструмент, а можно ли инструменту сказать что у этого потока есть вот такие правила эволюции схем, такие версии, и чтобы все это отразилось в линедже, операционных метаданных, и дата каталоге
Понял. Нет нельзя,  вы правы
источник
22:17пожаловаться#13

UD

Uncel Duk in Data Engineers
А как сейчас с найфаем живется? Хочется избавится от различных скриптов в кроне
источник
22:17пожаловаться#14

AZ

Anton Zadorozhniy in Data Engineers
Nikolay
Понял. Нет нельзя,  вы правы
Я тут без претензий к слову, просто эти инструменты писались под другие требования, под свои задачи они нормальные инструменты
источник
22:18пожаловаться#15

N

Nikolay in Data Engineers
Nikita Blagodarnyy
В случае с ходупом
За наблюдение спасибо ;-) Был на презентации инфы, там якобы все было ШИКАРНО. Нукакобычно
источник
22:25пожаловаться#16

N

Nikolay in Data Engineers
Если есть пару примеров, буду благодарен. Можно в личные сообщения, если другим не особо интересно
источник
22:30пожаловаться#17

‌

‌‎ in Data Engineers
Anton Zadorozhniy
В схеме обычно написано какой должен быть default, но тут изначальный вопрос не как запихать это в инструмент, а можно ли инструменту сказать что у этого потока есть вот такие правила эволюции схем, такие версии, и чтобы все это отразилось в линедже, операционных метаданных, и дата каталоге
Это не про Talend :)
источник
22:32пожаловаться#18

C

Combot in Data Engineers
Dima Malko has been banned! Reason: CAS ban.
источник
22:51пожаловаться#19

N

Nikita Blagodarnyy in Data Engineers
Nikolay
За наблюдение спасибо ;-) Был на презентации инфы, там якобы все было ШИКАРНО. Нукакобычно
Понятное дело. Ну power center при file/rdbms->rdbms/file вполне себе неплох.
источник
22:58пожаловаться#20