АО
Что довольно глупо, если подумать.
Size: a a a
2021 January 20
AZ
Правильно думаете, хотя я историю знаю только со стороны Грэма.
AZ
Неизвестно какие цели на самом деле преследовали покупатели.
AZ
Кто знает как называется метод хантинга от Гугла когда спрашивающему очень специфический запрос, например про хаскель, предлагают викторину пройдя которую попадаешь к ним на работу?
2021 January 21
ЕП
Alexandr
Оно может быть интересно прежде всего единым языком обработки данных вне зависимости от их объема. Собственно наметки попсового проекта есть, пока не очень четкие. Что-то вроде комбинации airflow с zeppelin. Т.е. в очень приблизительном виде - DAG, в котором каждый узел это код на джулии, который на вход принимает либо DataFrame либо таблицу в локальном сторадже и на выход отдает их же. Плюс входные узлы, которые позволяют загонять данные из внешних источников. И возможность писать код/строить дашборды и т.д. и т.п. в этом окружении. Т.е. настраиватеся окружение с подготовленными данными. Любой процесс преобразования данных можно сохранить в ноду DAGа на будущее, попутно решив будет ли это View(т.е. будет выполняться каждый раз) или выход будет по расписанию сохраняться в локальный сторадж.
Ммм... у меня есть пара мыслей и проект, который я писал с пайплайнами экономических данных на питоне, типа такой ETL на датафреймах. На проекте я понял, что даннве доожны быть очень большие, разнородные и уникалтные, чтобы оправдать разработку нового инструмента.
ЕП
Чего не хватало также, как я понимаю, это типизации фрейма pandas: чтобы хорошо тащить пайплайн нужно информацию о типах колонок сохранять/применять, иначе каша
ЕП
Не знаю как насчет airflow но мне не хватает какого-то DSL мол взять тот файл, препарировать так, положить туда, валидировать так-то
ЕП
По частям это все получается - а единообразно нет
ЕП
Насчет даных - какой вопрос? Нужны какие-то примеры из проектов, сборки из открытых источников
ЕП
Alexandr
Поэтому я и не хочу писать чистый AirFlow - хочется чтобы у него был красивый выход сразу, т.е. это должен быть BI инструмент. Объем работ получается здоровый и это пугает, да
И пайплайн, и хранение, и BI сразу? Может в это что-то есть, но как-то непривычно и непонятно как будет с производительностью
ЕП
Отдельной строкой, про вероястное моделирование блог читаю, интересно обсудить, может кто-то использует Turing.jl или аналоги?
VS
И пайплайн, и хранение, и BI сразу? Может в это что-то есть, но как-то непривычно и непонятно как будет с производительностью
Ребята, вы пишете ровно про Dataiku https://www.dataiku.com/
Пользуюсь уже три года на разных задачах и в индустриальных приложениях и в финтехе. Скажу честно, с точки зрения удобства решения целевой бизнес задачи лучше я пока ничего не видел.
Пользуюсь уже три года на разных задачах и в индустриальных приложениях и в финтехе. Скажу честно, с точки зрения удобства решения целевой бизнес задачи лучше я пока ничего не видел.
ЕП
Vladimir Samoylov
Ребята, вы пишете ровно про Dataiku https://www.dataiku.com/
Пользуюсь уже три года на разных задачах и в индустриальных приложениях и в финтехе. Скажу честно, с точки зрения удобства решения целевой бизнес задачи лучше я пока ничего не видел.
Пользуюсь уже три года на разных задачах и в индустриальных приложениях и в финтехе. Скажу честно, с точки зрения удобства решения целевой бизнес задачи лучше я пока ничего не видел.
👍
A
Ммм... у меня есть пара мыслей и проект, который я писал с пайплайнами экономических данных на питоне, типа такой ETL на датафреймах. На проекте я понял, что даннве доожны быть очень большие, разнородные и уникалтные, чтобы оправдать разработку нового инструмента.
Ну вот у меня по работе они как раз большие. А по поводу разнородности и уникальности - не уверен что она нужна для оправданности, может быть даже наоборот. Опять таки идею я пока для себя полностью не сформуловал, так отрывки.
Вот лично у меня часто встают задачи типа посчтитать конверсию для когорты пользователей из события А(одна таблица в кликхаузе) в событие B(другая таблица в кликхаузе) в течении какого-то времени (т.е. не просто select from B where id in (select id from A), а событие в B должно произойти после события в A в течении N дней).
При этом эта задача воспроизводится во всевозможных вариациях - когда-то сама когорта пользователей получается не тривиальным образом (например приходит не из клика, а из какой-то выгрузки id, или является результатом кластеризации). Когда-то события в которые нужно посчитать конверсию это результат сложного запроса.
И мне было бы очень удобно один раз написать код, который это делает по указанным входным данным, а потом в идеале в графическом интерфейсе при поступлении очередной хотелки менеджеров просто связать его с конкретными входными данными, на его выход навесить какие-то варианты стандарных аггрегаций/фильтраций, возможно настроить сохранение в локальный сторадж и тут же отправить на вход дашборда.
Вот лично у меня часто встают задачи типа посчтитать конверсию для когорты пользователей из события А(одна таблица в кликхаузе) в событие B(другая таблица в кликхаузе) в течении какого-то времени (т.е. не просто select from B where id in (select id from A), а событие в B должно произойти после события в A в течении N дней).
При этом эта задача воспроизводится во всевозможных вариациях - когда-то сама когорта пользователей получается не тривиальным образом (например приходит не из клика, а из какой-то выгрузки id, или является результатом кластеризации). Когда-то события в которые нужно посчитать конверсию это результат сложного запроса.
И мне было бы очень удобно один раз написать код, который это делает по указанным входным данным, а потом в идеале в графическом интерфейсе при поступлении очередной хотелки менеджеров просто связать его с конкретными входными данными, на его выход навесить какие-то варианты стандарных аггрегаций/фильтраций, возможно настроить сохранение в локальный сторадж и тут же отправить на вход дашборда.
PV
Отдельной строкой, про вероястное моделирование блог читаю, интересно обсудить, может кто-то использует Turing.jl или аналоги?
Пробую немного Turing. По-моему, он наиболее перспективен и наиболее активно развивается (если брать PPL на Julia)
АО
А что насчёт Gen.jl?
АО
Там немного другой подход используется, насколько я понимаю, но может быть он в чем-то даже лучше.
АО
Ну и есть ещё пакет Тамаса Паппа
АО
Который насколько я понимаю довольно ограниченный, но с практической точки зрения покрывает довольно много задач.