АХ
отсюда не видно )) для вас это + или - ?
Без деталей вряд ли можно четко сформулировать)
Size: a a a
2018 July 08
e
Имхо, почему бы и нет. Если есть ресурсы в источниках/приемниках. А команде Etl всегда есть чем заняться
т.е. для быстрого прототипирования пойдет ? а потом переделать если сильно захочется ?
АХ
т.е. для быстрого прототипирования пойдет ? а потом переделать если сильно захочется ?
Да, так. Быстрый запуск с заделом на более гибкую конструкцию в будущем
PG
У меня всегда была позиция elt, поэтому неплохой вариант, главное чтобы концы найти именно из etl средства
PG
А есть например Oracle di - у него именно такой подход
e
У меня всегда была позиция elt, поэтому неплохой вариант, главное чтобы концы найти именно из etl средства
окей спасибо за аргумент )
MV
о да - меня как кодера забавляют графические тулы ;)
ищу им правильное применение 😂
- единсвтенный минус с подходм через вью (то что очевидно ) - это то что логика размазана по нескольким системам
ищу им правильное применение 😂
- единсвтенный минус с подходм через вью (то что очевидно ) - это то что логика размазана по нескольким системам
Ну у меня тогда вопросы:
* Как ты будешь версионировать ETL джобы, если ты включаешь в них структуру VIEW?
* Что планируется делать, если у тебя один из источников - файл.
* Что за база, если она не OLTP, то как лицензируется и готов ли ты хранить весь промежуточный шлак в СУБД. А если она OLTP - готов ли терпеть просадки по производительности и локауты.
* Как ты будешь версионировать ETL джобы, если ты включаешь в них структуру VIEW?
* Что планируется делать, если у тебя один из источников - файл.
* Что за база, если она не OLTP, то как лицензируется и готов ли ты хранить весь промежуточный шлак в СУБД. А если она OLTP - готов ли терпеть просадки по производительности и локауты.
MV
В догонку к версионированию - миграция между средами dev/test/prod. Тоже - как? И как вести разработку пересекающихся по контексту джобов в одной среде
e
О. Теперь лучше понятно ;) Спасибо !
PG
Ну у меня тогда вопросы:
* Как ты будешь версионировать ETL джобы, если ты включаешь в них структуру VIEW?
* Что планируется делать, если у тебя один из источников - файл.
* Что за база, если она не OLTP, то как лицензируется и готов ли ты хранить весь промежуточный шлак в СУБД. А если она OLTP - готов ли терпеть просадки по производительности и локауты.
* Как ты будешь версионировать ETL джобы, если ты включаешь в них структуру VIEW?
* Что планируется делать, если у тебя один из источников - файл.
* Что за база, если она не OLTP, то как лицензируется и готов ли ты хранить весь промежуточный шлак в СУБД. А если она OLTP - готов ли терпеть просадки по производительности и локауты.
Вообще конечно писать код непосредственно лучше только если это даст большой выхлоп производительности, и если недоступна pushdown оптимизация, то это, так скажем, ручной вариант)
PG
А насчёт версионирования и т.д. - ничем не отличается от любой другой платформы, в некоторых есть даже встроенные
MV
На самом деле у нас был рабочий подход с VIEW, но только view'хи создавал сам ELT тул. Т.е. джоб при выполнении понимал что ему нужно достать, создавал вьюху временную и из неё лил. Но это делалось внутри ELT, а не отдельно
MV
ПОэтому версионирование вполне работало ) И миграция тоже
DT
Есть необходимость в near-online вычитывать json tuple данные из кафки, процессить их немного и писать в mysql. Суть - выдергивать из логов эвенты, и сохранять их в подходящем для sql-запроса формате в mysql. Думаю попробовать spark streaming в java реализации. Кто знает про подводные камни, или может предложить вариант проще/лучше?
AS
Есть необходимость в near-online вычитывать json tuple данные из кафки, процессить их немного и писать в mysql. Суть - выдергивать из логов эвенты, и сохранять их в подходящем для sql-запроса формате в mysql. Думаю попробовать spark streaming в java реализации. Кто знает про подводные камни, или может предложить вариант проще/лучше?
Скорость поступления данных?
AS
А то узким местом вполне может оказаться запись в mysql
DT
<= 7k записей/сек на вход, <= 1k записей на выход
DT
mysql такое терпит
AS
Тогда никаких