Size: a a a

2021 March 06

GP

Grigory Pomadchin in Data Engineers
KrivdaTheTriewe
А офсеты как ты менеджить будешь и балансировку делать ?
а ничего не надо менеджить
источник

GP

Grigory Pomadchin in Data Engineers
и балансировку тоже
источник

GP

Grigory Pomadchin in Data Engineers
зачем?
источник

K

KrivdaTheTriewe in Data Engineers
Grigory Pomadchin
а ничего не надо менеджить
А как определить из какой партиции читать
источник

GP

Grigory Pomadchin in Data Engineers
да каждый всегда читает из своей партиции свои иды
источник

K

KrivdaTheTriewe in Data Engineers
Grigory Pomadchin
да каждый всегда читает из своей партиции свои иды
И вот один отвалился
источник

GP

Grigory Pomadchin in Data Engineers
ну у нас разговор не сюда ушел
источник

GP

Grigory Pomadchin in Data Engineers
это никак не обяснят local[*]
источник

GP

Grigory Pomadchin in Data Engineers
источник

K

KrivdaTheTriewe in Data Engineers
Grigory Pomadchin
это никак не обяснят local[*]
Это Эдж кейс
источник

GP

Grigory Pomadchin in Data Engineers
ты в прод так пускаешь?
источник

K

KrivdaTheTriewe in Data Engineers
Grigory Pomadchin
ты в прод так пускаешь?
На 50 экзнкуторах
источник

GP

Grigory Pomadchin in Data Engineers
у тебя на одной машине
источник

GP

Grigory Pomadchin in Data Engineers
50 экзекуторов?
источник

K

KrivdaTheTriewe in Data Engineers
Grigory Pomadchin
у тебя на одной машине
Нет конечно
источник

GP

Grigory Pomadchin in Data Engineers
и локал моуд?
источник

K

KrivdaTheTriewe in Data Engineers
Grigory Pomadchin
50 экзекуторов?
В ярн кластере
источник

GP

Grigory Pomadchin in Data Engineers
Grigory Pomadchin
я не вижу просто связи ‘если есть хдфс есть и компьют'
this @krivdathetriewe я не понял этого
источник

AZ

Anton Zadorozhniy in Data Engineers
KrivdaTheTriewe
В ярн кластере
Не у всех есть ярн кластер и не всем он нужен
источник

K

KrivdaTheTriewe in Data Engineers
Anton Zadorozhniy
Не у всех есть ярн кластер и не всем он нужен
Окей , компьют то где то есть ?
источник