UD
Size: a a a
2020 March 11
A
Как я понял, если совсем не мудрить и начать с чего-то простого то я могу подходить к задаче с помощью PySpark как сказал Евгений или через докер как сказал Антон. Скажите, код не нужно переписывать ни в том ни в другом случае?
A
conda-pack
xar
pex
xar
pex
Пока не понял как это может помочь, но спасибо
S
С ним можно использовать любые питон пакеты?
Да, любые
S
В первую очередь он ориентирован нампай массивы гонять
2020 March 12
a
Господа, кто-нибудь сталкивался с задачей нагрузочного тестирования стримингового движка?
У нас kafka input и kafka output, хотелось бы конечно готовым фреймворком воспользоваться — графики там красивые, профили настраиваются. Тиньков написал плагин для gatling, но только для kafka input, а больше я и не нашел ничего.
У нас kafka input и kafka output, хотелось бы конечно готовым фреймворком воспользоваться — графики там красивые, профили настраиваются. Тиньков написал плагин для gatling, но только для kafka input, а больше я и не нашел ничего.
EV
я тестил сервис с кафкой, но там просто джава продьюсер
EV
Юзал Яндекс танк
r
Господа, кто-нибудь сталкивался с задачей нагрузочного тестирования стримингового движка?
У нас kafka input и kafka output, хотелось бы конечно готовым фреймворком воспользоваться — графики там красивые, профили настраиваются. Тиньков написал плагин для gatling, но только для kafka input, а больше я и не нашел ничего.
У нас kafka input и kafka output, хотелось бы конечно готовым фреймворком воспользоваться — графики там красивые, профили настраиваются. Тиньков написал плагин для gatling, но только для kafka input, а больше я и не нашел ничего.
Prometheus jmx + grafana, есть готовые helm чарты от confluent. Там почти все из коробки.
a
Prometheus jmx + grafana, есть готовые helm чарты от confluent. Там почти все из коробки.
спасибо!
S
Prometheus jmx + grafana, есть готовые helm чарты от confluent. Там почти все из коробки.
Графики Кафки, а тестируется вроде стримовое приложение
S
Странно
S
Почему не выкинуть из приложения концы в прометеус - непонятно
r
Ну так у нас jmx всех producers, consumers, streams apps,kafka connectors and brokers в прометеус потом на графану, оч удобно для алертов и мониторинга
TB
привет, ты хочешь протестить e2e latency или сорс и синк топики грузить?
GP
Мы использовали jep для интертеграции инференса на питоне в скалу
Они кстати пофиксили это; я тут использовал свеженькие версии; и вроде было ок
GP
но конечно раньше нумпаи текли и это было ужасно ):
AV
Ребята, привет! Приглашаю вас принять участие в митапе «CREATE MEETUP (Greenplum) LOCATION (’SPB’);», который пройдет 19 марта в Санкт-Петербурге на площадке Quadcode (IQ Option).
В числе спикеров выступит Хейкки Линнакангас (на английском языке), ведущий разработчик Greenplum в Pivotal.
Вся информация о программе митапа и регистрация по ссылке: https://arenadata-events.timepad.ru/event/1273732/
В числе спикеров выступит Хейкки Линнакангас (на английском языке), ведущий разработчик Greenplum в Pivotal.
Вся информация о программе митапа и регистрация по ссылке: https://arenadata-events.timepad.ru/event/1273732/
AE
а почто не в тренде мировых тенденций. коронавирус же. ну какой сейчас митап. всё надо перенести в онлайн.