ЕГ
Хотя микрософт замахнулись вроде на всё
Size: a a a
2019 November 21
ЕГ
Я неглубоко копал mmlspark
ЕГ
[Потому что пип инсталл не взлетел]😆
DG
Ну вот в частности был хороший вопрос про EMR. Если выбирать между кубер + spark и EMR, то надо какие-то очень веские причины, чтобы не выбрать второе, а пилить свое from scratch.
GP
Ну вот в частности был хороший вопрос про EMR. Если выбирать между кубер + spark и EMR, то надо какие-то очень веские причины, чтобы не выбрать второе, а пилить свое from scratch.
ну второе не выбирают только когда что-то лонг раннинг (прям очень); большие объемы, или требования по безопасности есть
ЕГ
Ну вот в частности был хороший вопрос про EMR. Если выбирать между кубер + spark и EMR, то надо какие-то очень веские причины, чтобы не выбрать второе, а пилить свое from scratch.
Например, законы о персональных данных
PK
Ребят где афтерпати
В козловне на пушке
С
Евгений Глотов
Например, законы о персональных данных
Модель на обезличенных данных обучать 🤔
A
Евгений Глотов
Например, законы о персональных данных
Фз 152 и странно что 1f про это не упоминал
K
В козловне на пушке
Сча приду
A
Сюткин
Модель на обезличенных данных обучать 🤔
Обучать да но хранить будь добр в РФ
ЕГ
А если надо обучать модель на продакшене😆
ЕГ
Дообучать/переобучать
A
Просто мнение. Не очень понятно откуда взялось утверждение, что тренд на локалити уходит. Я бы сказал наоборот. Базы данных-то как раз (мпп), которые подменяют хадуп-спарк это все суперлокальные решения. Вычисления макс близко к данным. Я так-то хадуп не защищаю, но кажется что спарк в кубере поверх s3, это шаг назад. Уж лучше проприетарная облачная платформа.
во многих ли виденных тобой хадупных кластерах был настроенный и работающий в спарке data locality?
ME
Сейчас уже быстрая сеть, локалити не нужен
ME
Он нужен был когда скорость дисков была быстрее сети, сейчас уже не так
ЕГ
во многих ли виденных тобой хадупных кластерах был настроенный и работающий в спарке data locality?
Он вообще портит ярну жизнь, а ярн собственно в отместку перестаёт выдавать контейнеры в принципе
DG
А как тут проверишь? Говорят UI врет на эту тему. Но в UI вроде rack aware обычно не сильно большой процент.
Сеть-то она быстрая если дц ваш и там больше никого нет и ваши же инженеры ее строили. А если там полно других кластеров, я не сильно верю что квоты спасут.
Сеть-то она быстрая если дц ваш и там больше никого нет и ваши же инженеры ее строили. А если там полно других кластеров, я не сильно верю что квоты спасут.
ME
А как тут проверишь? Говорят UI врет на эту тему. Но в UI вроде rack aware обычно не сильно большой процент.
Сеть-то она быстрая если дц ваш и там больше никого нет и ваши же инженеры ее строили. А если там полно других кластеров, я не сильно верю что квоты спасут.
Сеть-то она быстрая если дц ваш и там больше никого нет и ваши же инженеры ее строили. А если там полно других кластеров, я не сильно верю что квоты спасут.
Ну надо сравнивать, но вообще EMR на EBS поднимается, так что в чем разница? Ну и просто перед сетевым хранилищем сильнее сжимать и все
ME
Класть в с3 и не думать про хдфс вообще