точно кто-то сказал (здесь в этом чате) - экзамен от клаудеры = мечта (просто преобразуй данные и все)

Если вы R знаете - не забрасывайте, язык и экосистема хорошие, в некоторых очень хороших местах берут на работу за приличное умение и понимание R

Реально? Про экосистему не знал, обычно некоторые вещи на нем быстрее и проще сделать чем на змее, плюс в power bi с ним как-то проще, чем со змеей, но учту, спасибо

CCA?  Или CCP?

Понятие full stack data scientist я видел только в R командах)

а они одинаковы (по сути), различаются сложностю задач (на CCP сложнее, поэтому времени меньше)

Как иногда бывает полезно пообщается с профессионалами) всем спасибо!

Я так и понял что брешут 😜 ради ms

Для кого-то это мб актуальный бенчмарк, так что я бы не списывал его; просто я их видел десятки и сотни, и этот довольно скучный)

Это вопрос о цене поддержки?

это вопрос о стоимости managed clickhouse ... или у вас нужно отдельно платить за AWS-сервисы?

Подскажите пожалуйста, есть ли смысл дробить etl таск на цепочку минимально логически-связанных тасков ?

например есть luigi таск, который пересчитывает и укладывает прогнозы в redshift за 365 дней

какие могут быть бенифиты если переписать таск так, чтобы он считал только за 1 день

я пока вижу следующие
* легко будет перезагрузить определенный день/период а не год
* если таск сфейлился для определенного дня , то можно пересчитать этот день, а не опять считать целый год
* можно будет сразу увидеть дырки в дне/периоде

Не факт что мелкий таск будет работать в 1/365 раз быстрее .

Поиск наличия  пробелов в прогнозе это функциональное тестирование (. Нули машина тоже обмолотить и со стороны техники все будет ОК)

Народ, а как указать спарку каким размеров файлы писать в hdfs после обработки данных?

репартишоном. число подбирать под нужный размер файла исходя из размера датасета.

изкоробочный конфигов вроде как не бывает

ну вот у нас датасет, если я правильно понимаю 12 тб

coalesce еще, если не хочется еще сортировочку делать

но спарк их записыввает файлами по 0,14 гб