Size: a a a

2019 September 20

AZ

Anton Zadorozhniy in Data Engineers
совсем без Р действущая распределенная система не может быть, поэтому некоторые читают теорему как "когда случается Р, что вы выбираете - С или А?", и Кафка конечно выбирает С
источник

AB

Anton Balagaev in Data Engineers
источник

AB

Anton Balagaev in Data Engineers
это в продолжение мысли
источник

AZ

Anton Zadorozhniy in Data Engineers
да-да, оно
источник

ПФ

Паша Финкельштейн in Data Engineers
Anton Zadorozhniy
кафка это СР система, это значит что когда сеть падает вы можете продолжать читать и писать пока у вас удовлетворяется условие min in-sync replicas
Точнее это значит что не всегда гарантируется ответ, но если ответ был - то он корректен и консистентен с данными
источник

ПФ

Паша Финкельштейн in Data Engineers
Но к сожалению Кафка AC. А значит в случае партишнинга она может быть как неконсистентна, так и не доступна
источник

ПФ

Паша Финкельштейн in Data Engineers
Anton Zadorozhniy
строго говоря она не полностью partition tolerant, но я обсуждал с Кайлом на его тренинге, ее стоит рассматривать как CP пока большинство нод имеют связность
Это можно про всё что угодно сказать где используется консенсус. Но партишнинги бывают очень разными.
источник

AS

Andrey Smirnov in Data Engineers
Паша Финкельштейн
Но к сожалению Кафка AC. А значит в случае партишнинга она может быть как неконсистентна, так и не доступна
то есть быть и не С и не А, а смысл тогда так себя называть?
источник

ПФ

Паша Финкельштейн in Data Engineers
Andrey Smirnov
то есть быть и не С и не А, а смысл тогда так себя называть?
Ну потому что если ты каким-то образом умеешь обеспечить Reliable сеть — то вот, будет AC
источник

AS

Andrey Smirnov in Data Engineers
источник

AS

Andrey Smirnov in Data Engineers
The network is reliable
источник

AS

Andrey Smirnov in Data Engineers
интересно, а кто нибудь гонял https://github.com/gator1/jepsen/tree/master/kafka
на новых версиях кафки
источник
2019 September 21

IS

Igor Sam in Data Engineers
Daniil Berdnikov
Спасибо, сегодня начну
А что могли бы ещё посоветовать для начала? Понятно, что на новом месте будут учить, но всё же
Вот книга неплохая по общим вопросам в биг дате http://shop.oreilly.com/product/0636920032175.do
источник

SB

Sergey Bilenko in Data Engineers
Она на русском есть
источник

IS

Igor Sam in Data Engineers
Sergey Bilenko
Она на русском есть
Я бы рекомендовал на английском. Русский перевод не очень, как по мне
источник

N

Nikolay in Data Engineers
Как очистить очередь в yarn? Надо разово очистить очередь от ненужных приложений. Как сделать ?
источник

t

tenKe in Data Engineers
скриптом
источник

t

tenKe in Data Engineers
апи нет чтобы все бахнуть, емнип
источник

N

Nikolay in Data Engineers
tenKe
скриптом
Скриптом по отдельному application? Т.е выгрузить все и потом по каждому kill?
источник

t

tenKe in Data Engineers
да
источник