A
Раз в сутки
Size: a a a
2021 June 03
AZ
Spark.streaming.receiver.maxRate ?
A
Под рукой нет. На что влияет? Могу позже вернуться с ответом
AZ
Maximum rate (number of records per second) at which each receiver will receive data. Effectively, each stream will consume at most this number of records per second. Setting this configuration to 0 or a negative number will put no limit on the rate.
A
Сложность задачи в том, что нужно управлять потоком в динамике. Например одна из таблиц заливается 6 часов на «ночной» скорости. Высока вероятность, что не зальется до начала «дневных» часов когда скорость нужно снижать
AZ
можно динамично перезапускать джоб
AZ
в рантайме спарк стриминг не умеет менять эти лимиты
A
А как обеспечить непрерывность потока?
AZ
вообще для такого вам проще будет написать свою поднималку из объектного стораджа в кафку, вы и так мучаетесь наверное с целостностью, и с потоком сейчас
AZ
зачем вам непрерывность потока? у вас конечный датасет, задача его загрузить в кафку до какого-то времени, правильно?
AZ
я перед уходом в продукты чинил для клиента такую архитектуру, это конечно неортодоксальный подход, клиенту было нужно потому что он так сильно хотел больше ksql джобов что кушать не мог
A
Я имею в виду, что если поток перезапустить как обеспечить чтобы стартовал с нужного места, а не с начала
A
Архитектурные решения приняты архитекторами. Это не моя тема. Моя тема вписать хотелки заказчика в архитектуру
AZ
никак, но у вас наверняка compacted topic чтобы бороться с дубликатами которые могут возникать из-за рестарта джоба, или по другим причинам
A
Это из streaming или structured streaming?
AZ
streaming
A
Дублировать не вариант, большая холостая нагрузка получится
t
Вышеописанная задача решается через:
1) Снизить количество партиций перед записью в кафку => снижаем количество одновременных записей
2) Сделать foreachBatch синк, который будет дозированно писать данные частями
3) Написать свой синк, который будет писать так, как нужно
4) Уменьшить триггер стрима, чтобы писать чаще, но по малу
1) Снизить количество партиций перед записью в кафку => снижаем количество одновременных записей
2) Сделать foreachBatch синк, который будет дозированно писать данные частями
3) Написать свой синк, который будет писать так, как нужно
4) Уменьшить триггер стрима, чтобы писать чаще, но по малу
AZ
там надо еще в рантайме лимиты менять, то есть нужен control plane какой-то, или брать из конфигурации
t
В целом это через партиционирование и foreachBatch сделать