Size: a a a

Scalability Camp — чат про распределенные системы (и про HPC)

2020 June 28

ГБ

Гжегош Бженчышчыкеви... in Scalability Camp — чат про распределенные системы (и про HPC)
Спасибо
источник
2020 July 09

KZ

Kir Zharov in Scalability Camp — чат про распределенные системы (и про HPC)
Ребята,  всем привет, интересно, кто какие инструменты использует для того чтобы заворачивать Jupyter Notebooks как эндпойнты для API?
источник

N

Nikolay in Scalability Camp — чат про распределенные системы (и про HPC)
Kir Zharov
Ребята,  всем привет, интересно, кто какие инструменты использует для того чтобы заворачивать Jupyter Notebooks как эндпойнты для API?
Заранее прошу прощения, но я бы за такое бил ногами. Вообще никогда и ни при каких условиях нельзя использовать ноутбуки ни для чего продакшенового
источник

N

Nikolay in Scalability Camp — чат про распределенные системы (и про HPC)
Есть проекты потипу https://github.com/nteract/papermill, но я искренне считаю, что люди, которые их пишут и используют, не понимают, какую хрень они творят
источник

S

Slach in Scalability Camp — чат про распределенные системы (и про HPC)
Nikolay
Заранее прошу прощения, но я бы за такое бил ногами. Вообще никогда и ни при каких условиях нельзя использовать ноутбуки ни для чего продакшенового
+1 ;)
лучше сделайте нормальный какой нибудь нормальный pipeline
https://github.com/allegroai/trains
источник

AB

Aleksandr Borgardt in Scalability Camp — чат про распределенные системы (и про HPC)
Kir Zharov
Ребята,  всем привет, интересно, кто какие инструменты использует для того чтобы заворачивать Jupyter Notebooks как эндпойнты для API?
Может  тебе по-другому  можем помочь ?
источник

KZ

Kir Zharov in Scalability Camp — чат про распределенные системы (и про HPC)
Nikolay
Заранее прошу прощения, но я бы за такое бил ногами. Вообще никогда и ни при каких условиях нельзя использовать ноутбуки ни для чего продакшенового
Тогда переформулирую, имел ввиду, какие сейчас хорошие практики по переносу скриптов из ноутбуков для использования в проде 🙂
источник

KZ

Kir Zharov in Scalability Camp — чат про распределенные системы (и про HPC)
Пайплайны, кубер, какие-то из продуктов AWS
источник

N

Nikolay in Scalability Camp — чат про распределенные системы (и про HPC)
Kir Zharov
Тогда переформулирую, имел ввиду, какие сейчас хорошие практики по переносу скриптов из ноутбуков для использования в проде 🙂
Nbconvert + руки. А ещё приучить сотонистов выносить переиспользуемый код в общую версионированную внешнюю либу
источник

KZ

Kir Zharov in Scalability Camp — чат про распределенные системы (и про HPC)
Nikolay
Есть проекты потипу https://github.com/nteract/papermill, но я искренне считаю, что люди, которые их пишут и используют, не понимают, какую хрень они творят
Интересно, посмотрю 👍
источник

N

Nikolay in Scalability Camp — чат про распределенные системы (и про HPC)
Kir Zharov
Интересно, посмотрю 👍
НЕ НАДО!!11
источник

KZ

Kir Zharov in Scalability Camp — чат про распределенные системы (и про HPC)
Про пайплайны, это да, нужно что-то подобное
источник

N

Nikolay in Scalability Camp — чат про распределенные системы (и про HPC)
Kir Zharov
Интересно, посмотрю 👍
Это пример того, как не надо делать
источник

KZ

Kir Zharov in Scalability Camp — чат про распределенные системы (и про HPC)
Nikolay
Это пример того, как не надо делать
Чтобы лучше понять, как точно не надо 😂
источник

KZ

Kir Zharov in Scalability Camp — чат про распределенные системы (и про HPC)
Nikolay
Nbconvert + руки. А ещё приучить сотонистов выносить переиспользуемый код в общую версионированную внешнюю либу
Спасибо 👍  Потом использовать как обычный микросервис, грубо говоря?
источник

N

Nikolay in Scalability Camp — чат про распределенные системы (и про HPC)
Kir Zharov
Спасибо 👍  Потом использовать как обычный микросервис, грубо говоря?
Ну да, либо в составе пайплайна, как шаг. Для этого есть много инструментов - те же Luigi, Airflow, Prefect. Они все средненькие, но можно их для начала взять
источник

N

Nikolay in Scalability Camp — чат про распределенные системы (и про HPC)
Мы у себя используем грувийные dsl-пайплайны прямо в дженкинсе
источник

AB

Aleksandr Borgardt in Scalability Camp — чат про распределенные системы (и про HPC)
есть еще  petl
источник

KZ

Kir Zharov in Scalability Camp — чат про распределенные системы (и про HPC)
@Enchantner, @k0tb9g9m0t, спасибо, буду смотреть 🔥
источник

KZ

Kir Zharov in Scalability Camp — чат про распределенные системы (и про HPC)
Aleksandr Borgardt
Может  тебе по-другому  можем помочь ?
Это хороший вопрос, новая тема для меня, сейчас разбираюсь и хочется сразу делать нормально
источник