NK
Hey, спаркисты, скажите пожалуйста, как вы хендлите ошибки при обработке rddшек , map в Try заворачиваете, ведете ли лог ошибок парсинга ?
Size: a a a
2017 April 10
DB
Через Try, но он иногда поднимаен на верх нетот exp.
NK
каким образом подымаете?
DB
Try, Failure(e), но бывает, что в лог выводится, "table not found exception", хотя на самом деле свалилось с другим ex'м. Пока не решали не как.
DB
А какой еще опыт есть?
GP
try не монадный; и эксепшоны кидать
не помню где но с монадой кде-то было не удобно.
не помню где но с монадой кде-то было не удобно.
NK
Ну Failure выплевывать в кафку и там уже какую-то обработку другой джобой делать может или еще что
PK
Через Try, но он иногда поднимаен на верх нетот exp.
Да, это плата за ленивые вычисления
2017 April 18
P
Тут зарелизили новую версию клаудеры:
https://www.cloudera.com/documentation/enterprise/release-notes/topics/cdh_rn_new_in_cdh_511.html#cdh_new_in_511
https://www.cloudera.com/documentation/enterprise/release-notes/topics/cdh_rn_new_in_cdh_511.html#cdh_new_in_511
NK
а HDF кто в проде использует?
NK
Тут зарелизили новую версию клаудеры:
https://www.cloudera.com/documentation/enterprise/release-notes/topics/cdh_rn_new_in_cdh_511.html#cdh_new_in_511
https://www.cloudera.com/documentation/enterprise/release-notes/topics/cdh_rn_new_in_cdh_511.html#cdh_new_in_511
как-то все для облака
2017 April 19
F
Кто нибудь знает есть эл.книги по спарк?
NK
в сафари букс много, ну и официальная документация
F
Сафари?
NK
safaribooks
F
https://www.safaribooksonline.com/search/?query=spark
Я правильно понял?
Я правильно понял?
NK
да
F
выбор большой, какой именно будет полезен🙄
PK