K
как ddl решает задачу datacatalog я не понимаю, если условно тот же glue пляет от данных которые вы положили(читай определяет схему сам)
Size: a a a
2019 July 30
NT
Не поделитесь опытом про датакаталоги - из чего стоит выбирать и по каким критериям?
AZ
как ddl решает задачу datacatalog я не понимаю, если условно тот же glue пляет от данных которые вы положили(читай определяет схему сам)
Там можно краулерами доставать, а можно самим задавать, мы у себя выбираем проактивный подход, когда схема задается заранее, а не достаётся из того что там надеплоили
AZ
DDL это основа чтобы накрутить интеллект, также как тот же атлас работает по DDL. Из него строится внутреннее представление датасета, потом можно сравнить с предыдущей версией, сгенерировать какой-нибудь профайлинговый джоб
NT
Там можно краулерами доставать, а можно самим задавать, мы у себя выбираем проактивный подход, когда схема задается заранее, а не достаётся из того что там надеплоили
А на входе схему тоже проверяте? или тестами только результат джобы против DDL покрывается?
DM
если в обществе нет версионной дифференциации схем, то у такого общества нет будущего ©
K
DDL это основа чтобы накрутить интеллект, также как тот же атлас работает по DDL. Из него строится внутреннее представление датасета, потом можно сравнить с предыдущей версией, сгенерировать какой-нибудь профайлинговый джоб
А как происходит обновление тогда и добавление колонок при деплое, альтеры ?
AZ
А на входе схему тоже проверяте? или тестами только результат джобы против DDL покрывается?
Тесты через хайв, мы же выставляем хайв пользователям
AZ
А как происходит обновление тогда и добавление колонок при деплое, альтеры ?
Ну собсно для этого датакаталог нужен, мы проверяем по правилам обратной совместимости обновление схемы
AZ
Датакаталог может остановить деплой, если новая версия не совместима со старой
K
а дальше как?
K
ситуация покгда добавили колонку, как она обрабатывается?
AZ
ситуация покгда добавили колонку, как она обрабатывается?
мы автоматично поддерживаем два варианта: добавить колонку только для следующих партиций, либо сделать бэкфил с какой-то старой партиции, все остальное руками
R
Всем привет. Вопрос к тем кто работает с сервисами на AWS - как вы покрываете тестами интеграцию с ними?
Вот скажем, у нас в проекте используются S3, SQS, CloudWatch. Для S3, допустим, есть мок от findify. Но для остальных сервисов такого мока нет, что довольно странно. Нет ли какого-то удобного способа для локального теста SQS и CloudWatch?
Вот скажем, у нас в проекте используются S3, SQS, CloudWatch. Для S3, допустим, есть мок от findify. Но для остальных сервисов такого мока нет, что довольно странно. Нет ли какого-то удобного способа для локального теста SQS и CloudWatch?
AP
Всем привет. Вопрос к тем кто работает с сервисами на AWS - как вы покрываете тестами интеграцию с ними?
Вот скажем, у нас в проекте используются S3, SQS, CloudWatch. Для S3, допустим, есть мок от findify. Но для остальных сервисов такого мока нет, что довольно странно. Нет ли какого-то удобного способа для локального теста SQS и CloudWatch?
Вот скажем, у нас в проекте используются S3, SQS, CloudWatch. Для S3, допустим, есть мок от findify. Но для остальных сервисов такого мока нет, что довольно странно. Нет ли какого-то удобного способа для локального теста SQS и CloudWatch?
Есть Localstack. У него периодически всплывают свои баги, но минимально тестирование AWS API он покрывает.
R
Alexander Piminov
Есть Localstack. У него периодически всплывают свои баги, но минимально тестирование AWS API он покрывает.
понял, спасибо, это (вроде) как раз то, что нам нужно
AP
Его можно поднять в Docker отдельно от приложения либо при помощи Testcontainers (есть готовый компонент, но в нем версия не самая новая, поэтому лучше через GenericContainer).
K
мы автоматично поддерживаем два варианта: добавить колонку только для следующих партиций, либо сделать бэкфил с какой-то старой партиции, все остальное руками
а почему руками?
K
мы автоматично поддерживаем два варианта: добавить колонку только для следующих партиций, либо сделать бэкфил с какой-то старой партиции, все остальное руками
AZ
а почему руками?
такие редкие кейсы что накручивать интеллект не нужно