Size: a a a

2021 October 29

DZ

Dmitry Zuev in Data Engineers
MDX
источник

DZ

Dmitry Zuev in Data Engineers
источник

М

Михаил in Data Engineers
Народ привет, может кто сталкивался с  Authentication exception: GSSException: Failure unspecified at GSS-API level (Mechanism level: Checksum failed)  на SPNEGO? кейтаб сформировал в поддерживаемом типе шифрования.
источник

D

Dima in Data Engineers
Всем привет
кто работает с gcp, проблема такова:
написан скрипт на golang для работы с постгре. когда постгре и скрипт golang запускаются на кластерах(разных), то скорость работы падает в разы(сравнение идет с запуском скрипта на локальной машине, на этой же машине стоит постгрес).
для сравнения:
когда все запускается локально, то обрабатывается около 1м запросов за 6 минут
когда поднимаются кластера на gcp, то 1м запросов обрабатывается за 30 мин.
настройки базы локально и на gcp машине одинаковые. мб кто сталкивался с такой проблемой? как решали?
машины на кластерах поднимаются лучше, чем локальная машина
источник

h

helby in Data Engineers
Возможно ограничения какие то

Вот человек работает с gcp
@andy_ap
источник

PA

Panchenko Andrey in Data Engineers
Спасибо за рекомендацию,но вот такого кейса не было
источник

E

Etki in Data Engineers
Вы, возможно, забываете про такую небесплатную с точки зрения времени штуку как сеть
источник

D

Dima in Data Engineers
да, мб, но гугл пишет, что по сети до 20 гб/с скорость
источник

E

Etki in Data Engineers
А у вас скорее всего вопрос времени отклика
источник

E

Etki in Data Engineers
Энивей для проверки гипотезы надо сказать как вообще скрипт взаимодействует с постгресом, потому что если он выгружает большими батчами - то вряд ли проблема в этом, а если он работает мелко на уровне записей - то это вполне укладывается.
источник

D

Dima in Data Engineers
спасибо за идею, буду чекать
источник
2021 October 30

D

Dmitry in Data Engineers
Привет. А можно как нибудь заархивировать в zip все виртуальное окружение питон или папку с либами, чтобы потом можно было модули импортировать из архива?
источник

D

Dmitry in Data Engineers
Есть модуль pymorphy2, у которого есть словари, и вот с ними все тяжко прям. Сам модуль импортится из zip, но он не видит словари, которые находятся в соседней папке
источник

D

Dmitry in Data Engineers
Пробовал из неё сделать пакет, но никак не выходит 😭
источник

K

KrivdaTheTriewe in Data Engineers
Conda умеет
источник

D

Dmitry in Data Engineers
А что она такого делает что получается архив из которого можно импортить? Ну всмысле что conda под капотом делает с папкой или окружением?
источник

K

KrivdaTheTriewe in Data Engineers
зипует
источник

А

Алмас in Data Engineers
Собрать все в докер контейнер
источник

С

Сергей in Data Engineers
Всем привет. Подскажите какие нибудь курсы, желательно бесплатные, что бы получить представление о профессии)
источник

PA

Panchenko Andrey in Data Engineers
Datalern
источник