S
эм, етл? эйрфлоу планировщик, нафаня это файлопроцессинг фреймворк
То единственное, что эйрфлоу делает хреново - планирование.
Size: a a a
2019 August 22
СХ
молодеж пошла, все что данные из точку а в точку б перемещает - это у них теперь етл, ушла эпоха
ужас
AZ
То единственное, что эйрфлоу делает хреново - планирование.
эм, потому что он не планировщик?)
AZ
ужас
сам в ужасе, на кого индустрию оставим?
N
Хрыч, срочно бери студентов, учи всему.
S
эм, етл? эйрфлоу планировщик, нафаня это файлопроцессинг фреймворк
Эм. Не понял
AZ
Эм. Не понял
эйрфлоу оперирует дагами, которые он толкает, а что дальше происходит - его не волнует; нафаня держит флоу, который пропускает через себя флоуфайлы по нарисованному графу, флоуфайл прошел до конца - дело сделано
AZ
по вашей логике тогда все что может передать кусочек данных от одного процесса другому - это сравнимые между собой продукты
СХ
Хрыч, срочно бери студентов, учи всему.
плановое снижение качества уже скоро превратит it в средний менеджент
AZ
(мб и сравнимые, но сравнение это не несет никакой практической ценности)
S
по вашей логике тогда все что может передать кусочек данных от одного процесса другому - это сравнимые между собой продукты
Эм. А мне не все равно ли как? Что-то берет кусок данных, и выдает результат.
То, что эйрфлоу рисует красивые даги - не значит ничего. Такой же даг в найфай нарисован руками.
То, что эйрфлоу рисует красивые даги - не значит ничего. Такой же даг в найфай нарисован руками.
S
Но продавать можно 2 инструмента, да. Опсам работы всегда не хватает
AZ
Эм. А мне не все равно ли как? Что-то берет кусок данных, и выдает результат.
То, что эйрфлоу рисует красивые даги - не значит ничего. Такой же даг в найфай нарисован руками.
То, что эйрфлоу рисует красивые даги - не значит ничего. Такой же даг в найфай нарисован руками.
окей, это одно и тоже)
AZ
вы троллите, я понял
AZ
а слово ETL вообще стоит выкинуть из лексикона, никто не делает преобразования перед загрузкой уже давно, это все теперь data pipelines, ingestion/aggregation и в таком духе
PD
а слово ETL вообще стоит выкинуть из лексикона, никто не делает преобразования перед загрузкой уже давно, это все теперь data pipelines, ingestion/aggregation и в таком духе
и получится как в анекдоте "слова нет, а жопа есть"
AZ
и получится как в анекдоте "слова нет, а жопа есть"
чем вам дата пайплайны не нравятся? я даже от самых энтерпрайзно прожженых архитекторов хранилища из zSeries в Exadata слышал такую терминологию
PD
чем вам дата пайплайны не нравятся? я даже от самых энтерпрайзно прожженых архитекторов хранилища из zSeries в Exadata слышал такую терминологию
нравятся и пайплайны, и инжестшены. но зачем выкидывать устоявшийся термин, который вполне справляется со своей задачей: обозначить комплекс технологий по организации потоков данных в контуре аналитической платформы
PD
можно и ELT использовать, если нет трансформации перед загрузкой. но это уже детали. ETL - как имя собственное прижилось. и, думаю, нескоро из лексикона уйдет
AZ
можно и ELT использовать, если нет трансформации перед загрузкой. но это уже детали. ETL - как имя собственное прижилось. и, думаю, нескоро из лексикона уйдет
а если нет выгрузки и загрузки? всякая операционная аналитика в бэкенде поверх кафки это вполне себе общее место, такие модели как датафлоу/бим вообще не проводят границы между батчом и стримингом... это тоже ETL или ETL это только батч?
ладно, это мелочи конечно, пусть живет) но своим студентам я преподаю что ETL это такое устаревшее понятие)
ладно, это мелочи конечно, пусть живет) но своим студентам я преподаю что ETL это такое устаревшее понятие)