EK
ИМХО
Size: a a a
2021 March 17
SS
хорошо, буду называть это не DeadLetter-очередь, а Retry-очередь
EK
Дело не в названии. Если нужен ретрай - я б просто делал ретраи прямо во время основного процессинга.
EK
А дедлеттер - для багов. Когда ретрай не помог.
1
возможно ты забыл настроить кодировку консоли
locale посмотрел тоже ru-Ru норм вроде
SS
А дедлеттер - для багов. Когда ретрай не помог.
спасибо!
nn
немного размытый вопрос, но надеюсь найдутся ответы - я работаю в фирме которая пишет скоростной сторедж под k8s, и ищу варианты нагрузок, особенно модных AI и ML, которые сильно грузят диски и часто упираются именно в них. Идея в том чтоб поднять такую вот нагрузку как демо, и показать хорошую производительность.
Любые идеи - велкам
Любые идеи - велкам
афигенно!
Тебе наверное лучше потестить это на etl каком-нибудь с большим объёмом данных и кучей трансформаций
попробуй apache NiFi в нем очень большой io на диск + сейчас многие хотят его в кубер запустить
нагрузить диски там очень легко
Тебе наверное лучше потестить это на etl каком-нибудь с большим объёмом данных и кучей трансформаций
попробуй apache NiFi в нем очень большой io на диск + сейчас многие хотят его в кубер запустить
нагрузить диски там очень легко
AZ
Дедлеттер нужен для того, чтобы баги в корнер-кейсах не обваливали весь процессинг.
Т.е. перед тем, как переливать дедлеттер в основной топик, неплохо было бы что-нибудь починить.
Т.е. перед тем, как переливать дедлеттер в основной топик, неплохо было бы что-нибудь починить.
помню случай когда в 8 вечера пятницы весь поток пошел в дедлеттер, о молодость
AZ
(обычно дедлеттер это то что не забрали вовремя все-таки, по классике если вы несмогли обработать - вы просто не делаете ак, и оно там будет висеть пока не протухнет и попадет в дедлеттер, по аналогии с настоящим dead mail)
EK
(обычно дедлеттер это то что не забрали вовремя все-таки, по классике если вы несмогли обработать - вы просто не делаете ак, и оно там будет висеть пока не протухнет и попадет в дедлеттер, по аналогии с настоящим dead mail)
У вопрошающего кафка, там коммитить вроде можно только оффсет целиком. Нельзя закоммитить все, кроме одного сообщения. То есть, чтобы реализовать дедлеттер, надо сообщение туда вручную пихать.
Но я за кафкой не слежу, может не прав.
Но я за кафкой не слежу, может не прав.
ПФ
@dartov https://twitter.com/randyfay/status/1372045853632851969
тут вон народ достаточно активно пользуется, это не первый такой твит
тут вон народ достаточно активно пользуется, это не первый такой твит
EK
(обычно дедлеттер это то что не забрали вовремя все-таки, по классике если вы несмогли обработать - вы просто не делаете ак, и оно там будет висеть пока не протухнет и попадет в дедлеттер, по аналогии с настоящим dead mail)
А концептуально - если сам процессинг ненадежный, и из миллиона сообщений 1000 будет попадать в дедлеттер, то люди просто будут неглядя переливать дедлеттер обратно в основную очередь, и вся суть потеряется.
AZ
У вопрошающего кафка, там коммитить вроде можно только оффсет целиком. Нельзя закоммитить все, кроме одного сообщения. То есть, чтобы реализовать дедлеттер, надо сообщение туда вручную пихать.
Но я за кафкой не слежу, может не прав.
Но я за кафкой не слежу, может не прав.
все так, просто понятия эти из до кафковых времен, и они там значат то что я написал
АЖ
@dartov https://twitter.com/randyfay/status/1372045853632851969
тут вон народ достаточно активно пользуется, это не первый такой твит
тут вон народ достаточно активно пользуется, это не первый такой твит
а вы не тестили, много прожектор жрет по ресурсам на клиенте?
AZ
@dartov https://twitter.com/randyfay/status/1372045853632851969
тут вон народ достаточно активно пользуется, это не первый такой твит
тут вон народ достаточно активно пользуется, это не первый такой твит
я склонен с этим комментарием согласится больше https://news.ycombinator.com/item?id=26427986
1
Всем привет! Только начал изучать hadoop. Заканчиваю курс введения на coursera. Все вроде ровно, но когда начал на своих примерах что-то практиковать, сразу проблема: импортировал текст с кириллицей (utf-8). После sc.textFile(...), если пробую первые строки take(5) выводит не русские букыв а коды типа \u0421\u0442\u043e. Это так должно быть или при правильной настройке должны русские буквы быть? мне именно для анализа сам текст русский нужен.
Может есть еще какие варианты у кого! если текст прочитать в терминале hdfs dfs -cat file - нормально на русском отображает, но если загнать в ddf: file = sc.textFile(file), то при отображении те самые коды \u0123 и т.п.
AZ
скорее всего не очень требовательный пользователь, я сравниваю с IDEA over X Server и VS Code Remote - опыт с projector сильно хуже, ощущение сырости
ПФ
а вы не тестили, много прожектор жрет по ресурсам на клиенте?
Нет, но моя гипотеза — это что примерно как одна нагруженная вкладка браузера )
АЖ
Нет, но моя гипотеза — это что примерно как одна нагруженная вкладка браузера )
ну запилин умеет жрать как целая идея :)
ПФ
я склонен с этим комментарием согласится больше https://news.ycombinator.com/item?id=26427986
Да, вот буфер обмена— дикая жопа. Мы пока не понимаем почему так, но работаем