Size: a a a

2021 February 28

СХ

Старый Хрыч... in Data Engineers
или не в тот день
источник

GP

Grigory Pomadchin in Data Engineers
поздно наверн ага
источник

СХ

Старый Хрыч... in Data Engineers
у меня просто странная нагрузка бывает на нодах
источник

GP

Grigory Pomadchin in Data Engineers
Да разберёшься оно лечится
источник

A

Alex in Data Engineers
Grigory Pomadchin
в кубе - да
Но это не останавливает всех все пихать в куб :)
источник

СХ

Старый Хрыч... in Data Engineers
и не понятно что разрабам предъявить кроме графиков в графане
источник

GP

Grigory Pomadchin in Data Engineers
Alex
Но это не останавливает всех все пихать в куб :)
Мне кажется куб подпилили уже))
источник

СХ

Старый Хрыч... in Data Engineers
вот думаю попробовать в кубе запустить и посмотреть, просто странно, везде выделено на 1 экзекутор 70 ядер из 72, и 370 гб из 385, а нагрузка на нодах получается разная
источник

СХ

Старый Хрыч... in Data Engineers
какие то ноды получаются напроч перегружены за 200+%, а какие то висят на раслабоне
источник

СХ

Старый Хрыч... in Data Engineers
потом на тех всё будто дохнет, и на те что на расслабоне было переходит нагрузка под 200%
источник

СХ

Старый Хрыч... in Data Engineers
и ожидание выполнения
источник

GP

Grigory Pomadchin in Data Engineers
)) похоже на ио
источник

GP

Grigory Pomadchin in Data Engineers
Или прост неравномерно размазанные жобы
источник

СХ

Старый Хрыч... in Data Engineers
с io везде вот так на всех нодах
источник

СХ

Старый Хрыч... in Data Engineers
😂но проц по разному
источник

СХ

Старый Хрыч... in Data Engineers
а ещё прикольно, когда джоба стартует она открывает 60к коннектов tcp
источник

СХ

Старый Хрыч... in Data Engineers
из которых потом дохнет 52к и остаётся 8к коннектов на used
источник

☭S

☭ ⤳ λ Shinkevich... in Data Engineers
По мне, так для спарка хватит книжки тип Scala for impatient (Скала для занятых). Если есть бекграунд в других языках, то самое то, чтобы въехать... А дальше уже красная книга и коты ;)
источник

MK

Mikhail Kuznetsov in Data Engineers
☭ ⤳ λ Shinkevich
По мне, так для спарка хватит книжки тип Scala for impatient (Скала для занятых). Если есть бекграунд в других языках, то самое то, чтобы въехать... А дальше уже красная книга и коты ;)
Scala for impatient мне не понравилась - очень рваная подача материала. И зачем коты в де ?)
источник

☭S

☭ ⤳ λ Shinkevich... in Data Engineers
Mikhail Kuznetsov
Scala for impatient мне не понравилась - очень рваная подача материала. И зачем коты в де ?)
А это, если уж сильно абстракций захочется
источник