t
в начале батча дергаем API, определяем на сколько аккуратно надо наливать и наливаем
Size: a a a
2021 June 03
AZ
я такую штуку и написал, лимиты брали из etcd периодически. но это было просто на акке заливалка, без спарка
A
Просто заливалка понятно как делать, но производительность хуже на порядок. Хочется остаться на спарк стриме
AZ
скорость заливки была такая же как на спарк стриминге
A
Партиционирование для нас серьезный change request
Foreeachbatch это что? Метод api? Не знаком
Foreeachbatch это что? Метод api? Не знаком
A
Я про свои реалии, сотри миллионов записей
t
я про репартиционирование внутри стрима, а не кафки
AZ
вроде клиент бросил эту идею, я до сих пор не понимаю зачем нужно целостные сжатые данные разбивать по частям чтобы было сложнее контролировать целостность, переливать постоянно, медленнее отдавать
AZ
да-да, там тоже что-то около нескольких миллиардов записей в сутки в основных датасетах (было)
A
Это про structured streaming?
Вроде обычный streaming никак не партиционируется
Вроде обычный streaming никак не партиционируется
t
да, это Structured Streaming API
A
Посмотрю. Сейчас у нас обычный стрим. Запустил и забыл и все как есть без возможности вмешаться
S
Привет. Подскажите, на сайте cloudera для загрузки бесплатных версий cdh требуется аутентификация:
If you are using any version of Cloudera Manager older than 6.3.3 to install CDH 6.3.3 packages or parcels, you must include the username/password and "@" in the repository URL during installation.
Откуда предполагается брать username и password?
If you are using any version of Cloudera Manager older than 6.3.3 to install CDH 6.3.3 packages or parcels, you must include the username/password and "@" in the repository URL during installation.
Откуда предполагается брать username и password?
AF
Платная подписка, или как её еще назвать.
S
Но версии до 6.3.3 ведь бесплатные должны быть?
AZ
вы можете продолжать пользоваться, но доступ к репозиториям открыт только для клиентов
S
ну ваще т ссс не фонтан как быстро что читает, что пишет в кафку
читать напрямую из хдфс и писать опустошая буфер можно на скорости канала/дисков кафки
у ссс скорость далека от этих цифр
читать напрямую из хдфс и писать опустошая буфер можно на скорости канала/дисков кафки
у ссс скорость далека от этих цифр
D
должны были, но обманули
AZ
это вообще тот еще погрев атмосферы: возьмем сильно сжатый паркет на миллиард строк, начнем разжимать в памяти и делать строчки в авро, будем писать в кафку, и еще надо как-то дать консьюмерам знать сколько там строк, чтобы консьюмеры как-то считали и знали когда все записано... в гамаке и стоя