Size: a a a

2021 July 05

PK

Pavel Klemenkov in Data Engineers
Для увеличения охвата обв. Большая часть студентов всегда была не русская.
источник

VS

Vladislav 👻 Shishkov... in Data Engineers
Похоже кто-то все таки бот и не прочитал описание чата
источник

A

Alex in Data Engineers
сорян, перенесу пост
источник

I

Ivoya in Data Engineers
Добрый вечер! Есть ли в спарк стриминге реализованные алгоритмы из МЛ, что-нить простое вроде k-means для кластеризации и регрессии для временных рядов?
источник

ММ

Максим Митяев... in Data Engineers
Только из спарк мллиб использовал - там имплементировано большинство стандартных
источник

I

Ivoya in Data Engineers
А они в реалтаймовом (или в чем-то похожем на реалтайм) режиме работают?
источник

АР

Андрей Романов... in Data Engineers
Вы можете применять их на каждом батче, который приходит на стриминговый датафрейм

Здесь есть пример применения таких операций:
https://medium.com/@smdbilal.vt5815/spark-structured-streaming-performing-unsupported-batch-operations-on-a-streaming-dataframe-68524f905674
источник

АР

Андрей Романов... in Data Engineers
каждый батч = обычный датафрейм, не стримовый
источник

АР

Андрей Романов... in Data Engineers
но с этим надо быть аккуратным, можно поломать данные
источник

I

Ivoya in Data Engineers
Окей, почитаю, спасибо)
источник
2021 July 06

VP

Vitaly Pismarev in Data Engineers
Там целая специализация по всем основным топикам для DE (хадуп, спарк, ML + про стриминг что-то было + NoSQL + Redis!)  ).
Достаточно неплохие задачки

Я, честно говоря, пока не встречал чего-то похожего. Вот чтобы было также собрано и структурированно за такие деньги
источник

D

Dmitry in Data Engineers
Всем привет! Планирую на перейти с java на DE. Может кто подкинуть список вопросов на интервью? Как сейчас проходят собесы на позицию DE по основному стеку Spark/ Spark Streaming / Scala? Заранее спасибо!
источник

e

er@essbase.ru in Data Engineers
Сможете ли вы есть суп если он пересолен ? даже если он сделан из лучших продуктов ?
 * наверное да, если привыкли к такой стрепне 😉

Вообще у меня не претензий к содержанию, (упаковка не очень, да)
 я  высказываю  свое фи по поводу РуНглиша.  Имхо могли бы нанять дикторов ,
источник

e

er@essbase.ru in Data Engineers
и вообще
знать и учить это два разных навыка
источник

e

er@essbase.ru in Data Engineers
* O'Reily  в целом Очень хорош в цене - качество
там на порядок больше курсов и они контролируют качество изложения
источник

VP

Vitaly Pismarev in Data Engineers
Дикторы денег стоят. Мне, например, пофиг на акценты, главное содержание. А руинглиш гораздо проще воспринимается чем индиИнглиш например.
источник

e

er@essbase.ru in Data Engineers
да , есть целые бизнесы построены по такому принципу . (пускай цветут все цветы )
- надеюсь что в след раз буду средства что бы подумать над тем как бы сделать курс лучше
источник

VP

Vitaly Pismarev in Data Engineers
Кстати, а вы специализацию закончили в итоге?
источник

e

er@essbase.ru in Data Engineers
NewProLAb
источник

PK

Pavel Klemenkov in Data Engineers
Нет.
источник