Size: a a a

2017 April 19

PK

Pavel Klemenkov in Data Engineers
Но вообще полезность целью измеряется
источник
2017 April 20

P

Pina Collider in Data Engineers
Первая очень сильно устарела
источник

F

Farruh in Data Engineers
Pavel Klemenkov
Но вообще полезность целью измеряется
Спасибо за ссылки.
Цель изучить спарк (начинаю) для ML
источник

PK

Pavel Klemenkov in Data Engineers
Spark ml - это очень странная штука. Например gbm и rf др сих пор не умеют вероятности классов выдавать.
источник

F

Farruh in Data Engineers
а если Spart ML + Spark R?
источник

PK

Pavel Klemenkov in Data Engineers
Тут скорее Spark для подготовки данных, R для локального обучения. Но там много граблей с сериализацией, скоростью, памятью
источник

PK

Pavel Klemenkov in Data Engineers
В общем смотрите трансляцию с нашего митапа по спарку, про многое расскажем
источник

F

Farruh in Data Engineers
Можно ссылку?
источник

PK

Pavel Klemenkov in Data Engineers
Pavel Klemenkov
Дорогие друзья! Мы строили-строили и, наконец, построили. 27 апреля собираем практиков и энтузиастов Apache Spark у себя на Мансарде!
Расскажем, как перевели (почти) все наши ETL и ML пайплайны на Spark и как переехали на вторую версию. Познакомимся и пообщаемся! https://rambler-co-e-org.timepad.ru/event/470664/
Вот
источник

F

Farruh in Data Engineers
Спасибо! 👍
источник

NK

ID:1373407 in Data Engineers
Возникали ли у кого проблемы в спарке  версией <1.6  когда допустим
case class Message(a:String)
sealed trait Result
case class Good(r:String) extends  Result
case class Bad(r:String) extends  Result
case class Exp(n:Int) extends Result
stream:DStream[Result]

stram.flatmap  {
case Bad(a) =>  Some(a)
case _ => _
}

Сваливалось бы в Some(a) в случае если Good и Bad , но не Exp
источник
2017 April 21

NK

ID:1373407 in Data Engineers
@pomadchin вы shapless у себя используете?
источник

GP

Grigory Pomadchin in Data Engineers
ID:1373407
@pomadchin вы shapless у себя используете?
Минимально
источник

GP

Grigory Pomadchin in Data Engineers
И сирка
источник

λ

λoλdog in Data Engineers
какой активный чатик
источник

GP

Grigory Pomadchin in Data Engineers
Нe о чeм рассказать по факту , ничeго интeрeсногл на нeм нeт; Поли функции и копродакты
источник

GP

Grigory Pomadchin in Data Engineers
λoλdog
какой активный чатик
источник

λ

λoλdog in Data Engineers
задам вопрос тут, может вы знаете распределенную fs чоткую
источник

GP

Grigory Pomadchin in Data Engineers
Хдфс да гластeр
источник

GP

Grigory Pomadchin in Data Engineers
источник