N
у нас один коммутатор тихо косячить начал. просто терял пакеты и все. часть нод просто не получала пакеты и не слала ответы.
Size: a a a
2022 January 26
N
было весело
GP
треш, хоррор стори
N
в итоге мы создавали свой пингометр
N
периодически какое-то время все пинговали всех
N
и потом в кх заливали и анализировали логи кто кому не отвечает
N
так и нашли
ИК
серьёзный подход, одобряю! В опен сорс не хотите его? ))
N
его девопсяны строчили, спрошу, не стыдно ли выкладывать такое
2022 January 27
✨
Всем привет! Подскажите пожалуйста где можно поизучать pyspark, уже был небольшой опыт на курсах scala+spark, но на python не нашел ничего
A
ну первый же вопрос, "что значит поизучать", так то апи что на питоне что на скале почти одинаково мэпится между собой
A
если знаете питон + спарк со стороны скалы, то вопросов не будет много
k
ну, прыгать с нормальным деплоем пуспарк жоб придется больше. начиная от всяких жвм-зависимостей, и продолжая нормальной упаковкой путон кода по модулям, и путонскими зависимостями..
а синтакс - да, то же самое, что и у скалы (в простейших apps) только без val
а синтакс - да, то же самое, что и у скалы (в простейших apps) только без val
ЕГ
Как раз проще
ЕГ
Берёшь пишешь один питончик и гоняешь его
ЕГ
Вместо сборок этих ваших
ЕГ
Открываешь юпитер и качаешь какой-нибудь гос портал по апи через юдфки
A
потом отдаёшь нотебук дата инженерам и говоришь чтобы запустили его в проде
A
дальше это уже их проблема
ЕГ
Не, я имею в виду файлик .py, который и будет продом