ПФ
Если внезапно надо добавить новую колоночку — то как теперь будет выглядеть джоба?
Size: a a a
2019 July 30
K
пользователям искать схемы данных по проектам в гите?
мы сейчас про версионирование говорим или про текущую схему,текущую схему можно увидеть в любой тулзе которая работает с базой данных,точно также как схему postgresql
DM
и запустили ли эту версию кода или пропустили и взяли другую, а следующую еще не успели...
ПФ
пользователям искать схемы данных по проектам в гите?
с вероятностью не найти. Потому что withColumn().withColumn().toDf
DM
мы сейчас про версионирование говорим или про текущую схему,текущую схему можно увидеть в любой тулзе которая работает с базой данных,точно также как схему postgresql
пользователям даешь доступ до базы?
DM
как искать где что?
K
и запустили ли эту версию кода или пропустили и взяли другую, а следующую еще не успели...
а причём тут запуск не той версии джоба, если условно джоба написана так, что она орк файлы сохраняет куда-то и ее не ту версию запустили,как явных ddl поможет тут?
ПФ
мы сейчас про версионирование говорим или про текущую схему,текущую схему можно увидеть в любой тулзе которая работает с базой данных,точно также как схему postgresql
Версионирование не так интересно, как предсказуемость имха. Нет новой колонки для твоего джоба в кейс-классике? Пускай падает к херам
DM
а причём тут запуск не той версии джоба, если условно джоба написана так, что она орк файлы сохраняет куда-то и ее не ту версию запустили,как явных ddl поможет тут?
фиксация того что должно быть в действительности
ддл - это контракт
ддл - это контракт
DM
как типы для твоих питонячих функций
K
фиксация того что должно быть в действительности
ддл - это контракт
ддл - это контракт
я лишь указываю на то,что это руками написанный контракт, который вроде как соблюдается, а по факту нет
DM
я лишь указываю на то,что это руками написанный контракт, который вроде как соблюдается, а по факту нет
но у него жирный плюс - он доступен всем участникам процесса, не требует разбирательств в коде и шерстить самостоятельно базу
актуальность и корректность - это проблемы, которые и так и так не решаются
актуальность и корректность - это проблемы, которые и так и так не решаются
K
потому что джоба может быть написана так, что по факту она не соблюдает контракт и ты никогда это не зафиксируешь, пока явно не получишь схему из результата работы джобы
K
но у него жирный плюс - он доступен всем участникам процесса, не требует разбирательств в коде и шерстить самостоятельно базу
актуальность и корректность - это проблемы, которые и так и так не решаются
актуальность и корректность - это проблемы, которые и так и так не решаются
я про актуальность и корректность говорю
K
но у него жирный плюс - он доступен всем участникам процесса, не требует разбирательств в коде и шерстить самостоятельно базу
актуальность и корректность - это проблемы, которые и так и так не решаются
актуальность и корректность - это проблемы, которые и так и так не решаются
схема смотрится show create table db.table
DM
потому что джоба может быть написана так, что по факту она не соблюдает контракт и ты никогда это не зафиксируешь, пока явно не получишь схему из результата работы джобы
если есть контракт, то джоба не права
если контракта нет, то всё ок
если контракта нет, то всё ок
DM
схема смотрится show create table db.table
вот бы сейчас всех пользаков к базам пускать неограничено, чтобы они поискали что там есть
K
если есть контракт, то джоба не права
если контракта нет, то всё ок
если контракта нет, то всё ок
джоба не права, но данные попорчены, ты условно хранишь всё в csv, и схему определил для хайва , потом джобу поправил, и терь там другие данные льются , а ddl никак не обновил
K
вот бы сейчас всех пользаков к базам пускать неограничено, чтобы они поискали что там есть
а где это о тображать?
K
в гит репозитории?