RF = 3

ох

зато надежно! :) записал так записал

Как я понимаю один из вариантов проблемы это поступление большого объема данных в hdfs, где rf=3 вызывает взрыв сетевой активности, или проще говоря засирает сеть, и учитывая, что данные хранятся на iscsi volumes, это может быть причиной значительного замедления hdfs  в целом?

это может быть проблемой, а если у вас nodemanager.local-dirs еще там, то и промежуточные итоги у вас пишутся по сети, а потом по сети читаются

зависит какой мощи у вас таргет айскази, но это плохо в любом случае

это прямая противоположность идей создателей хадупа (и всех МРР баз данных), data locality, bring compute to storage и вот это все

Ещё отдельный вопрос по delta lake. Как там работает upsert? Например у меня есть батч, который ежечасно проверяет поле created_at в таблице бд и закидывает в hdfs преобразованные в паркет данные, которые используются hive table. В этой же таблице есть ещё несколько полей, которые могут быть изменены в зависимости от бизнес логики. Это получается мне нужно создать второй батч для backfill, который будет делать upsert в hive table?

Ясно, буду проверять, как доберусь до рабочего компа. Спасибо за информацию.

апсерт (мердж) пишет дельта файл, ридер умеет их читать вместе с основными данными и правильно учитывать

То есть логика по тому, когда и как проверять наличие изменений в бд и последующих апсертов - это отдельная песня?

да, это ваш дата пайплайн решает

Понятно, спасибо!

Привет, покидайте статей про то как рассчитывать количество и конфигурацию серваков под кафка кластер если известен примерный размер ожидаемого потока. Можно не очень подробную, просто хочу методологию расчета понять к завтрашнему дизайн интервью

ksql будет? какой тип нагрузки?

ksql можно в тащить пожелаюнию но я бы не стал, нагрузнка на пример click stream

на собеседовании лучше не рассказывать чужие идеи, но лучше рассказать как вы понимаете эту задачу, если вы хорошо знаете архитектуру кафки - то там просто common sense, все довольно очевидно; а детальный вывод сайзинга прям с основных метрик зачтется вам как плюс

(я сам задаю подобные вопросы на собеседовании, как раз чтобы понять как человек понимает архитектуру и фундаментальные вещи)

Да это понятно, но для себя конечно хотелось бы понять как хотябы примерно оценить по верхней границы. Я тут просто не много решил даунгредится  но за то пойти к чуваком которые все стримово обрабатываю, так как надоело сидеть на бачах