в бэклоге))

это варн все также работает

неа, по-разному

ну логи как минимум разные высираются

так что похоже разные приложухи но я не смотрел даже

В каком плане? У меня также в консоль все контейнеры срут

В таких проектах лучше сначала собрать хоть какой-то end-to-end процесс, хоть на файлах или sqlite , а потом менять куски; мне пока неясно зачем вам монга или тем более кассандра

end-to-end присутствует, условно несколько python-скриптов, которые складывают на диск сырое, сырое в postgres
монга как выбор в качестве сырого хранилища
кассандара также + познакомиться
по обсуждению склонился к minio

условно на работе меня проектировать dwh не допустят, а дома никто не мешает, но хочется +- по уму начать делать

Подскажите, кто в курсе, планирую в оракле под виндами и линухом одно поле со ссылкой на внеш. файл (bfile), записей будет всего около полумиллиарда, потом, возможно, вырастет, но не сильно, раза в два допустим...
Соответственно, будет храниться много преимущественно мелких файлов до 1КБ размером.
Файлы будут разложены по подкаталогам.
Вопрос: ntfs, ext4 (главное сейчас - нтфс) норм потянут такое к-во файлов или стоит отформатировать такой раздел, где они будут складироваться, в какой-то другой фс или нтфс, но с другими размерами кластера и пр?
Читал, что макс. к-во файлов в нтфс около 4 млрд, пока это меня устраивает, но может оно начнет дико тупить уже при миллиарде?
Цифры, конечно, для бигдаты не бог весть какие, но у нас и особо не бигдата, хотя, для обычной файловой системы столько файлов - это уже бигдата)

Похоже на правду )
По пункту три добавил бы ещё :
Миграции
Сперва импорт из монги в стейдж постгри
Потом все в стейбл и отдельная таблица с актуальным срезом

Благодарю

Ребят, а вот из тех, кто юзает mlflow - как решали проблему отсутствия ролевой модели? Сами что-то писали?

кто spark 2.4 c java 11  и zgc тестил?

Spark 2.4 ждк11 не поддерживает

только со спарк 3

Ребят привет, увлеклась Data, буду data engineerом. Наткнулась на сайт datacampcom, поделитесь пожалуйста отзывами. Прошла первую часть intermediate sql, дальше просит купить подписку, стоит ли покупать или можно найти инфу бесплатно

Ого не знала спасибо большое

Сэкономили мне 100 долларов)