А как вы жищеным циклом шаблонов управляете

Шаблоны это фактический тот же "Flow" в NiFi который хранится в отдельном бакете в NiFi Registry (это такое версионное хранилище для niFi) соответственно для доработки шаблон клонируется в dev бакет дорабатывается ревьюится, тестируется уже в тест бакете, и дальше накатывается новой версией обратно в SYSTEM бакет где ждет дальнейших доработок, ну и используется для разработки Бизнес Flow. Ты же про это я правильно понял? Генераторы разумеется работают с System бакетом только и с Latest version.

Подскажите, может быть сталкивались с Presto? Возможно ли (не теоретически) делать через CTAS CSV файлы на S3?

А какой у вас престо и что не работает?

346, пока стоит  hive.non-managed-table-writes-disabled, утром коллеги переключат) Но хотелось бы понять, работает ли это на практике) Задача налить CSV на ~20GB в один бакет через престо, потом переместить в другой, откуда этот файл заберет другой сервис

В EMR? Кмк должно работать, сам не пробовал, но в Athena работает точно:
CREATE TABLE ctas_csv_unpartitioned
WITH (
    format = 'TEXTFILE',
    external_location = 's3://my_athena_results/ctas_csv_unpartitioned/')
AS SELECT key1, name1, address1, comment1
FROM table1;

Антон, а как в айсберге можно сделать drop partition? Они ж там вроде как неявные, судя по доке.

Ага! Спасибо, надеюсь сработает аналогично🙏

руками?

конечно нет, скрипты на питоне

Удалить данные с соответствующим WHERE, он сам определит какие партиции надо убрать

коллеги, а вставлял ли параллельно спарком в терадату записи в таблицы с 150 клобами

Кому интересно, на прошлой неделе большой релиз был https://iceberg.apache.org/releases/#0100-release-notes

вы уже юзаете у клиентов?

Не могу сказать

дяденьки, а кто-то может по-простому рассказать про типовые сценарии работы со Schema Registry?
ну там пыщь-пыщь, пиу-пиу

вводная:
1) есть поток json в Кафка-топике
2) на старте проЭкта распознана схема этих json'ов и втиснута в Schema Registry
3) согласно этой схеме происходит парсинг сообщений из топика Кафки и прочая ересь
...
прошло несколько дней и выясняется, что данные в json изменились: появились новые важные/нужные поля, переименовали старые
чо делать? прогонять ежедневно джобку, парсящую json'ы за сутки, вычленяющую актуальную схему, сравнивающую с рабочей схемой в SR и апдейтить ее?

Вам не нужен Schema Registry, просто читайте сообщения как есть, мб используйте паттерн tolerant reader

тип совместимости = backward? а если не проходит проверку на обратную совместимость?