AT
EMR on EKS самый простой способ, Fargate тоже можно. контейнеры стартуют очень быстро если есть в группе уже машины, если нет - то время поднятия ec2 в ASG -1-2 минуты и дальше уже все шустро
Size: a a a
2021 May 07
AZ
главное - дешево, если комбинировать обычную нодгруппу и фаргейт профили то можно очень круто сэкономить, при том что время подъема только чуть-чуть увеличивается
AZ
у меня так AnalyticOps работает - постоянные сервисы бегут на 1-2 узлах в нодгруппе, а все джобы обучения, оценки и скоринга моделей - в фаргейт профилях
AT
Согласен с вами коллега
AT
В принципе с eks autscaler его тоже можно в ноль настроить чтоб все выключал
AZ
получается не так дешево, из-за того что у нас пользователь может указать число ресурсов - получается фрагментация
VS
Чуть больше, я про это года 2-3 назад узнал
V_
Добрый день, может вопрос не по теме, но кто-нибудь размещал модельку на Google cloud ai plattform? Можете пожалуйста откликнуться, есть пару вопросов
ПФ
Переслано от Mikhail Kumachev
Коллеги,
Если вы уже устали отдыхать в нерабочие дни, то мы собрали для вас второй дайджест интересных материалов:
https://digest.deordie.org/May_the_Force_be_with_you/
Напомню, что у нас есть issue tracker: https://github.com/deordie/deordie-digest/issues
Приносите туда те материалы, которые оказались интересными/полезными для вас, а также голосуйте за понравившиеся материалы от коллег (+1).
Если вы уже устали отдыхать в нерабочие дни, то мы собрали для вас второй дайджест интересных материалов:
https://digest.deordie.org/May_the_Force_be_with_you/
Напомню, что у нас есть issue tracker: https://github.com/deordie/deordie-digest/issues
Приносите туда те материалы, которые оказались интересными/полезными для вас, а также голосуйте за понравившиеся материалы от коллег (+1).
S
Как грамотно написать скл адаптеры на питоне?
AZ
Как задать понятный вопрос?
S
https://github.com/aeonicentity/SQLAdapter/blob/master/MySqlAdapter.py
типа такого, чтобы оперировать базой быстрее и не было горы кода в одном файле
типа такого, чтобы оперировать базой быстрее и не было горы кода в одном файле
AZ
в смысле ORM?)
AZ
SQLAlchemy чем-то не подошел?
S
пока не пробовал алхимию. походу, орм хочу сделать?
AZ
я не очень понимаю что вы хотите сделать, полноценный ОРМ или какой-то промежуточный вариант без валидации или каких-то еще фич, если вы задачку получше поясните - можно ответ получше получить
S
я сейчас занимаюсь миграцией базы данных из оракла в майскл, они большие - для этого
S
в процессе из кода получается длинная партянка, и на неё неприятно становится смотреть. разделил запросы по разным классам, стало легче на душе)
AZ
например teradataml это тоже SQL адаптер на питоне, это намного проще написать, чем расписывать гистограмму через SQL или тащить данные на клиента hist = valib.Histogram(data=df, columns=','.join(continuous_vars))
AZ
тут мне трудно что-то посоветовать