Size: a a a

2019 June 17

DZ

Dmitry Zuev in Data Engineers
я к тому что ты был прав
источник

GG

George Gaál in Data Engineers
Dmitry Zuev
кароч это oom, но в логах пустота. и косяк в том что Psycopg2 cursor затягивает все в память (вот такого говна я и не ожидал)
Насчёт затягивает все в память - очевидно же. Это д оперсурс
источник

GG

George Gaál in Data Engineers
Э - эффективность
источник

GG

George Gaál in Data Engineers
Dmitry Zuev
я к тому что ты был прав
источник

GG

George Gaál in Data Engineers
Опыт :-)
источник

DZ

Dmitry Zuev in Data Engineers
я находил уже про это, но там говорили про exit code -9
источник

DZ

Dmitry Zuev in Data Engineers
Dmitry Zuev
я находил уже про это, но там говорили про exit code -9
а его я не находил
источник

GG

George Gaál in Data Engineers
Ну, какие дальнейшие действия ?
источник

DZ

Dmitry Zuev in Data Engineers
поставить itersize курсору
источник

GG

George Gaál in Data Engineers
Пилить по объему? Увеличивать сайзинг инстанса ?
источник

GG

George Gaál in Data Engineers
Dmitry Zuev
поставить itersize курсору
👍
источник

Н

Никита in Data Engineers
Я чёто не понял в какой момент курсор берет все в память?
c = cnn.cursor(); c.execute(‘’); c.fetchmany(100)
источник

SB

Sergey Bilenko in Data Engineers
А насколько удобен этот Cloud Composer? Вроде они его только год назад на публичное тестирование выставили. Не сыроват?
источник

DZ

Dmitry Zuev in Data Engineers
Ну не год вроде
источник

DZ

Dmitry Zuev in Data Engineers
Ну как бы разворачивается в пару кликов, жрать не просит. Из проблем это обновление. С 1.06 до 1.10 скрипт не работал
источник

DZ

Dmitry Zuev in Data Engineers
Пришлось пересоздать. Тк у нас вечная бета мы пережили
источник

DZ

Dmitry Zuev in Data Engineers
Ну и если все остальное в Гугле то оч удобно. Всякие кластеры ондеманд, gs и bq
источник

GG

George Gaál in Data Engineers
Dmitry Zuev
Ну и если все остальное в Гугле то оч удобно. Всякие кластеры ондеманд, gs и bq
ну, я бы тут поспорил, т.к. заказать кластер gke ты можешь и так. Дальше хельм, дальше эйрфлоу из оф. репы
источник

GG

George Gaál in Data Engineers
(ненавижу хельм, если что)
источник

DZ

Dmitry Zuev in Data Engineers
Всякие морды прокидывать еще
источник