AZ
вообще даже добавление колонки с бэкфилом редкий кейс в продакшен джобах
Size: a a a
2019 July 30
K
спасибо
ПФ
мы автоматично поддерживаем два варианта: добавить колонку только для следующих партиций, либо сделать бэкфил с какой-то старой партиции, все остальное руками
А технически как реализовали?
AZ
А технически как реализовали?
Что конкретно? Там очень незатейливая реализация: 1. Тормозим воркфлу в планировщике 2. Деплоим новую версию джоба и ддл 3. Запускаем воркфлу или с нового места или с бэкфила
2019 July 31
C
Adrian veidt Lopez has been banned! Reason: CAS ban.
AR
говно этот ваш комбот, из 18 попыток только раз сработал
AR
на помойку
GP
говно этот ваш комбот, из 18 попыток только раз сработал
то что сверху это бан кросс чатов, аккаунт был замечен не первый раз за этим делом
GP
Для новоприбывших капча и бан если не пройдут ее
GP
судя по логам вся эта толпа в бане вошедшая
GP
Если у тебя есть идея лучше чем бот с капчей и который трёт за собой почти все, буду рад узнать
NT
Не поделитесь опытом про датакаталоги - из чего стоит выбирать и по каким критериям?
Уточню. Внедрял и пользовался Alation, представляю что не умеет Atlas, смотрел на материалы по Waterline и Collibra.
Alation нравится почти всем кроме цены. Бюджетный вариант - крутиться с Atlas или есть ещё альтернативы?
Alation нравится почти всем кроме цены. Бюджетный вариант - крутиться с Atlas или есть ещё альтернативы?
NT
Ещё нашёл Lyft Amundsen - интересно выглядит, никто не пробовал?
AZ
Ещё нашёл Lyft Amundsen - интересно выглядит, никто не пробовал?
я такой не видел еще, спасибо! netflix metacat можете не смотреть - довольно убогая реализация
АЖ
Уточню. Внедрял и пользовался Alation, представляю что не умеет Atlas, смотрел на материалы по Waterline и Collibra.
Alation нравится почти всем кроме цены. Бюджетный вариант - крутиться с Atlas или есть ещё альтернативы?
Alation нравится почти всем кроме цены. Бюджетный вариант - крутиться с Atlas или есть ещё альтернативы?
Нам Alation как дата каталог показался ниочинь. Свистелок и перделок много, а каталога мало
АЖ
Либо продаван ниочинь попался :)
NT
А чем пользуетесь?
AP
Уточню. Внедрял и пользовался Alation, представляю что не умеет Atlas, смотрел на материалы по Waterline и Collibra.
Alation нравится почти всем кроме цены. Бюджетный вариант - крутиться с Atlas или есть ещё альтернативы?
Alation нравится почти всем кроме цены. Бюджетный вариант - крутиться с Atlas или есть ещё альтернативы?
Atlas следует рассматривать как framework (который что-то за тебя сделал) и поверх него уже делать то, что тебе нужно🙂
NT
Alexander Piminov
Atlas следует рассматривать как framework (который что-то за тебя сделал) и поверх него уже делать то, что тебе нужно🙂
Насколько при этом реально его использовать не только для Hadoop части, а заливать и Postgres и nosql?
AP
Насколько при этом реально его использовать не только для Hadoop части, а заливать и Postgres и nosql?
Если общаться с ним по API, то все равно, что туда грузить🙂 По крайней мере, коллеги делали для PostgreSQL клиент для интеграции. А абстракции (dataset, lineage и т.п.) предоставляет Atlas.