Size: a a a

2021 June 20

SV

Stepan Voronkov in Data Engineers
Народ, подскажите. Обработка через Ksql генерит поток записи на диск в 250мб/с, при этом занятое место не растет и чтений на порядок меньше. Это значит что оно пишет а потом просто удаляет. Что это за проведение такое?
источник

SV

Stepan Voronkov in Data Engineers
*поведение
источник

SV

Stepan Voronkov in Data Engineers
Одна нода, есть джойны, данных в окнах довольно много. Должно быть много чтений имхо, а тут сплошная запись.
источник
2021 June 21

e

er@essbase.ru in Data Engineers
много в коде сортировок ?
источник

SV

Stepan Voronkov in Data Engineers
Явных нет, но как оно там внутри я хз
источник

SV

Stepan Voronkov in Data Engineers
Но все равно выглядит бессмысленно. Если пишет, кто-то должен читать?
источник

SV

Stepan Voronkov in Data Engineers
Хотя, до меня только что дошло, что это ОС может кэшировать и чтения в IO поэтому не видны.
источник

S

Stanislav in Data Engineers
вам сюда https://t.me/proKafka
а лучше сразу в конфлюэнт бабла нести
источник

SV

Stepan Voronkov in Data Engineers
да, спасибо, точно. Ну и мы скорее от нее откажемся вообще :) слишком дорого выходит.
источник

MF

Marian F in Data Engineers
Доброе время суток, если кто работал с Redshift и Snowflake, какие преемущества или кейс использования Snowflake вместо Redshift?
источник

e

er@essbase.ru in Data Engineers
источник

e

er@essbase.ru in Data Engineers
источник

e

er@essbase.ru in Data Engineers
Переслано от er@essbase.ru
источник

ММ

Максим Митяев... in Data Engineers
Всем привет. Скажите что думаете о таком положении дел.
Устраиваюсь в контору на DE позицию. Выдали ноут с виндой и сказали, что линукс установке не подлежит из-за соображений безопасности и лицензий на ПО майкрософта (только виртуалка).
Каково это - работать со спарком, хадупом и пострес на винде?
источник

S

Stanislav in Data Engineers
главное - админские права, а не то что поставлено )
источник

A

Alex in Data Engineers
Так они все в кластере далеко
источник

ММ

Максим Митяев... in Data Engineers
Вот тут не понял.
источник

e

er@essbase.ru in Data Engineers
Пахнет зелёным банком
источник

S

Stanislav in Data Engineers
если можно поставить свои инструменты без согласования - какая разница какая ось
источник

ММ

Максим Митяев... in Data Engineers
Accenture. С зелёными банками не знаком
источник