SS
тулзов с подобным функционалом не видели?
Size: a a a
2020 January 17
TT
Я давно делал
TT
Баш курл + файл с скошенными данными + что то из штатной поставки кафки
TT
Не помню точно
SS
баш - это здорово. но если мне нужно держать 5-10к eps - вытянет?
EV
тулзов с подобным функционалом не видели?
танк?
SS
я пока думаю влить патронташ в темповую кафку, и программкой наподобие
org.apache.kafka.tools.ProducerPerformance на жаве переливать в нагружаемую кафку согласно заданному в файле распределению thoughput по минутамEV
тока надо http перед кафкой намутить
AZ
дяденьки, здравствуйте!
подскажите, чем можно сгенерировать НЕРАВНОМЕРНУЮ нагрузку на Кафку?
в поставке Кафки есть скрипт
подскажите, чем можно сгенерировать НЕРАВНОМЕРНУЮ нагрузку на Кафку?
в поставке Кафки есть скрипт
kafka-producer-perf-test.sh - но он долбит равномерно и рандомными патронамитак а всякие гатлинги с цунгами чем-то не подошли?
SS
а мне надо максимально быстро сделать
SS
короче, баш рулит!
watch и kafkacat + словарь со средним EPS в минуту
watch и kafkacat + словарь со средним EPS в минуту
K
Делитесь )
K
Где вы сейчас логи храните Спарк приложений
АЖ
Где вы сейчас логи храните Спарк приложений
в грейлог пуляем, но где-то рядом бродит корпоративный Лось
K
в грейлог пуляем, но где-то рядом бродит корпоративный Лось
И чо , какие преимущества , как настраивали
АЖ
И чо , какие преимущества , как настраивали
преимущества относительно чего? Были грейлог и спарк, надо было мониторить 🙂 теперь в телегу получаем алерты из грейлога
DG
Привет, кто то использует квоты в кафке? Как они работают? Какие подводные камни?
DZ
Коллеги, кто прикручивал spark-bigquery connector?
ClassNotFoundException чо не делай.
Версия 0.11.0 , спарк 2.4.3 on k8s, scala 2.11
ClassNotFoundException чо не делай.
Версия 0.11.0 , спарк 2.4.3 on k8s, scala 2.11
Кароч, победил, но путь был тернист. Когда подцепилось - начало крешиться jvm. Оказалось что образ под кубер на алпайне, и там проблемы с netty native. Собрал под дебиан, все взлетело
K
Кароч, победил, но путь был тернист. Когда подцепилось - начало крешиться jvm. Оказалось что образ под кубер на алпайне, и там проблемы с netty native. Собрал под дебиан, все взлетело
Кубер- энтерпрайз технологии
λ
jvm на алпаине есть?