В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

Data Engineers

2608 membersпожаловаться на группу
2021 July 02

V

Vasiliy in Data Engineers
там другие вопросы возникают, уже к вендору.
они очень много ляпов допустили в процессе интеграции.
И в целом работали рвано и долго доводили систему до кондиции.
Если бы не очень терпиливый РП с нашей стороны, которому они памятник торчат уже, как минимум позолоченый, не попали бы они никогда в критичные системы.
источник
14:01пожаловаться#1

V

Vasiliy in Data Engineers
Как с детьми иногда, ей богу.
Но это к теме не относится.

Докер может короче, есть примеры
но надо очень аккуратно и на расширении сразу ставьте крест
источник
14:01пожаловаться#2

TC

Tasty Cake in Data Engineers
Ох, вендорское уже 100 лет не юзал. 4 года подряд мне только опенсорс на проектах встречается
источник
14:02пожаловаться#3

V

Vasiliy in Data Engineers
Это не мешает им начинать опенсорсом, за примерами далеко ходить не надо
источник
14:02пожаловаться#4

AS

Andrey Shevchenko in Data Engineers
что вы делаете с дата инженерами которые генерируют такое?
источник
14:30пожаловаться#5

NN

No Name in Data Engineers
И что в этом, простите, ужасного?
Деталей, к сожалению, не видно, слишком мелко, и кода нет, но я и не такие джобы встречал.
источник
14:33пожаловаться#6

АЖ

Андрей Жуков... in Data Engineers
Которые присылают зашакаленные скриншоты дагов на отладку?
Таких сразу на мороз.
источник
14:35пожаловаться#7

AS

Andrey Shevchenko in Data Engineers
)) справедливо, но зашакален он специально, чтоб не палить названия таблиц
источник
14:35пожаловаться#8

NN

No Name in Data Engineers
Ну без этого хз, что тут не так.
Можно, гипотетически, разбить на отдельные джобы, но вполне возможно, что тут это будет лишним.
источник
14:36пожаловаться#9

AS

Andrey Shevchenko in Data Engineers
ну тут джоин результата джоина от джоина от ждоина вьюх внутри которых опять джоины..
источник
14:37пожаловаться#10

AS

Andrey Shevchenko in Data Engineers
и потом жалобы, а почему так медленно или падает по oom
источник
14:37пожаловаться#11

AS

Andrey Shevchenko in Data Engineers
джоины не с маленькими dimension tables
источник
14:38пожаловаться#12

НК

Николай Крупий... in Data Engineers
дык если порядок и тип джоинов норм, то и норм же, нет??)

(ну и, главное, джоины того, что надо))
источник
14:38пожаловаться#13

NN

No Name in Data Engineers
Ну, здрасьте, если такая модель данных, и задача соответствующая, то как по-другому?
Другое дело, что, возможно, неоптимально все реализовано, но это другой вопрос.
источник
14:39пожаловаться#14

НК

Николай Крупий... in Data Engineers
тут broadcast'а надобность проверить
источник
14:39пожаловаться#15

AS

Andrey Shevchenko in Data Engineers
так модель данных эти самые дата инженеры и разрабатывают
источник
14:40пожаловаться#16

NN

No Name in Data Engineers
Модель данных это все таки вопрос, в первую очередь, архитектурный, я считаю.
Ну, честно говоря, я не вижу смысла тут дальше что-то говорить, потому что исходя из той инфы, что Вы сюда кинули, все выглядит нормально.
источник
14:41пожаловаться#17

AS

Andrey Shevchenko in Data Engineers
да, согласен, просто бомбануло, а без деталей которые я не могу раскрывать не понять боли
источник
14:42пожаловаться#18

B

BadRat in Data Engineers
То есть есть способ получить все эти данные без джоинов? И вы его знаете?
источник
14:43пожаловаться#19

AS

Andrey Shevchenko in Data Engineers
как минимум отдельным ELT процессом материализовывать вьюхи, внутри которых тяжелые джоины и которые часто используются
источник
14:44пожаловаться#20