PK
Для увеличения охвата обв. Большая часть студентов всегда была не русская.
Size: a a a
2021 July 05
VS
Похоже кто-то все таки бот и не прочитал описание чата
A
сорян, перенесу пост
I
Добрый вечер! Есть ли в спарк стриминге реализованные алгоритмы из МЛ, что-нить простое вроде k-means для кластеризации и регрессии для временных рядов?
ММ
Только из спарк мллиб использовал - там имплементировано большинство стандартных
I
А они в реалтаймовом (или в чем-то похожем на реалтайм) режиме работают?
АР
Вы можете применять их на каждом батче, который приходит на стриминговый датафрейм
Здесь есть пример применения таких операций:
https://medium.com/@smdbilal.vt5815/spark-structured-streaming-performing-unsupported-batch-operations-on-a-streaming-dataframe-68524f905674
Здесь есть пример применения таких операций:
https://medium.com/@smdbilal.vt5815/spark-structured-streaming-performing-unsupported-batch-operations-on-a-streaming-dataframe-68524f905674
АР
каждый батч = обычный датафрейм, не стримовый
АР
но с этим надо быть аккуратным, можно поломать данные
I
Окей, почитаю, спасибо)
2021 July 06
VP
Там целая специализация по всем основным топикам для DE (хадуп, спарк, ML + про стриминг что-то было + NoSQL + Redis!) ).
Достаточно неплохие задачки
Я, честно говоря, пока не встречал чего-то похожего. Вот чтобы было также собрано и структурированно за такие деньги
Достаточно неплохие задачки
Я, честно говоря, пока не встречал чего-то похожего. Вот чтобы было также собрано и структурированно за такие деньги
D
Всем привет! Планирую на перейти с java на DE. Может кто подкинуть список вопросов на интервью? Как сейчас проходят собесы на позицию DE по основному стеку Spark/ Spark Streaming / Scala? Заранее спасибо!
e
Сможете ли вы есть суп если он пересолен ? даже если он сделан из лучших продуктов ?
* наверное да, если привыкли к такой стрепне 😉
Вообще у меня не претензий к содержанию, (упаковка не очень, да)
я высказываю свое фи по поводу РуНглиша. Имхо могли бы нанять дикторов ,
* наверное да, если привыкли к такой стрепне 😉
Вообще у меня не претензий к содержанию, (упаковка не очень, да)
я высказываю свое фи по поводу РуНглиша. Имхо могли бы нанять дикторов ,
e
и вообще
знать и учить это два разных навыка
знать и учить это два разных навыка
e
* O'Reily в целом Очень хорош в цене - качество
там на порядок больше курсов и они контролируют качество изложения
там на порядок больше курсов и они контролируют качество изложения
VP
Дикторы денег стоят. Мне, например, пофиг на акценты, главное содержание. А руинглиш гораздо проще воспринимается чем индиИнглиш например.
e
да , есть целые бизнесы построены по такому принципу . (пускай цветут все цветы )
- надеюсь что в след раз буду средства что бы подумать над тем как бы сделать курс лучше
- надеюсь что в след раз буду средства что бы подумать над тем как бы сделать курс лучше
VP
Кстати, а вы специализацию закончили в итоге?
e
NewProLAb
PK
Нет.