Size: a a a

2021 March 17

EK

Evgenii Kuznetcov in Data Engineers
ИМХО
источник

SS

Sergey Sheremeta in Data Engineers
хорошо, буду называть это не DeadLetter-очередь, а Retry-очередь
источник

EK

Evgenii Kuznetcov in Data Engineers
Дело не в названии. Если нужен ретрай - я б просто делал ретраи прямо во время основного процессинга.
источник

EK

Evgenii Kuznetcov in Data Engineers
А дедлеттер - для багов. Когда ретрай не помог.
источник

1

1iniker in Data Engineers
Eldar
возможно ты забыл настроить кодировку консоли
locale посмотрел тоже ru-Ru норм вроде
источник

SS

Sergey Sheremeta in Data Engineers
Evgenii Kuznetcov
А дедлеттер - для багов. Когда ретрай не помог.
спасибо!
источник

nn

nasdaq nice in Data Engineers
Dan Y
немного размытый вопрос, но надеюсь найдутся ответы - я работаю в фирме которая пишет скоростной сторедж под k8s, и ищу варианты нагрузок, особенно модных AI и ML, которые сильно грузят диски и часто упираются именно в них. Идея в том чтоб поднять такую вот нагрузку как демо, и показать хорошую производительность.

Любые идеи - велкам
афигенно!
Тебе наверное лучше потестить это на etl каком-нибудь с большим объёмом данных и кучей трансформаций
попробуй apache NiFi в нем очень большой io на диск + сейчас многие хотят его в кубер запустить
нагрузить диски там очень легко
источник

AZ

Anton Zadorozhniy in Data Engineers
Evgenii Kuznetcov
Дедлеттер нужен для того, чтобы баги в корнер-кейсах не обваливали весь процессинг.
Т.е. перед тем, как переливать дедлеттер в основной топик, неплохо было бы что-нибудь починить.
помню случай когда в 8 вечера пятницы весь поток пошел в дедлеттер, о молодость
источник

AZ

Anton Zadorozhniy in Data Engineers
(обычно дедлеттер это то что не забрали вовремя все-таки, по классике если вы несмогли обработать - вы просто не делаете ак, и оно там будет висеть пока не протухнет и попадет в дедлеттер, по аналогии с настоящим dead mail)
источник

EK

Evgenii Kuznetcov in Data Engineers
Anton Zadorozhniy
(обычно дедлеттер это то что не забрали вовремя все-таки, по классике если вы несмогли обработать - вы просто не делаете ак, и оно там будет висеть пока не протухнет и попадет в дедлеттер, по аналогии с настоящим dead mail)
У вопрошающего кафка, там коммитить вроде можно только оффсет целиком. Нельзя закоммитить все, кроме одного сообщения. То есть, чтобы реализовать дедлеттер, надо сообщение туда вручную пихать.
Но я за кафкой не слежу, может не прав.
источник

ПФ

Паша Финкельштейн... in Data Engineers
@dartov https://twitter.com/randyfay/status/1372045853632851969
тут вон народ достаточно активно пользуется, это не первый такой твит
источник

EK

Evgenii Kuznetcov in Data Engineers
Anton Zadorozhniy
(обычно дедлеттер это то что не забрали вовремя все-таки, по классике если вы несмогли обработать - вы просто не делаете ак, и оно там будет висеть пока не протухнет и попадет в дедлеттер, по аналогии с настоящим dead mail)
А концептуально - если сам процессинг ненадежный, и из миллиона сообщений 1000 будет попадать в дедлеттер, то люди просто будут неглядя переливать дедлеттер обратно в основную очередь, и вся суть потеряется.
источник

AZ

Anton Zadorozhniy in Data Engineers
Evgenii Kuznetcov
У вопрошающего кафка, там коммитить вроде можно только оффсет целиком. Нельзя закоммитить все, кроме одного сообщения. То есть, чтобы реализовать дедлеттер, надо сообщение туда вручную пихать.
Но я за кафкой не слежу, может не прав.
все так, просто понятия эти из до кафковых времен, и они там значат то что я написал
источник

АЖ

Андрей Жуков... in Data Engineers
а вы не тестили, много прожектор жрет по ресурсам на клиенте?
источник

AZ

Anton Zadorozhniy in Data Engineers
я склонен с этим комментарием согласится больше https://news.ycombinator.com/item?id=26427986
источник

1

1iniker in Data Engineers
1iniker
Всем привет! Только начал изучать hadoop. Заканчиваю курс введения на coursera. Все вроде ровно, но когда начал на своих примерах что-то практиковать, сразу проблема: импортировал текст с кириллицей (utf-8). После sc.textFile(...), если пробую первые строки take(5) выводит не русские букыв а коды типа \u0421\u0442\u043e. Это так должно быть или при правильной настройке должны русские буквы быть? мне именно для анализа сам текст русский нужен.
Может есть еще какие варианты у кого! если текст прочитать в терминале hdfs dfs -cat file - нормально на русском отображает, но если загнать в ddf: file = sc.textFile(file), то при отображении те самые коды \u0123 и т.п.
источник

AZ

Anton Zadorozhniy in Data Engineers
скорее всего не очень требовательный пользователь, я сравниваю с IDEA over X Server и VS Code  Remote - опыт с projector сильно хуже, ощущение сырости
источник

ПФ

Паша Финкельштейн... in Data Engineers
Андрей Жуков
а вы не тестили, много прожектор жрет по ресурсам на клиенте?
Нет, но моя гипотеза — это что примерно как одна нагруженная вкладка браузера )
источник

АЖ

Андрей Жуков... in Data Engineers
Паша Финкельштейн
Нет, но моя гипотеза — это что примерно как одна нагруженная вкладка браузера )
ну запилин умеет жрать как целая идея :)
источник

ПФ

Паша Финкельштейн... in Data Engineers
Anton Zadorozhniy
я склонен с этим комментарием согласится больше https://news.ycombinator.com/item?id=26427986
Да, вот буфер обмена— дикая жопа. Мы пока не понимаем почему так, но работаем
источник