GP
что ещё нужно спарку чтоб слушать кафку?
Size: a a a
2019 April 02
A
что ещё нужно спарку чтоб слушать кафку?
cпасибо
2019 April 03
PK
Всем привет! Отличная новость! 17 апреля в офисе Мегафона проводим Moscow Spark #7. Поговорим про стримы и перспективы использования GPU для задач обработки данных. Приходите, регистрация ограничена! https://moscowspark.timepad.ru/event/946573/
K
Yay
K
Вчера ко мне подошёл парень , один из мейнтеййнеров вот этой штуки https://github.com/getquill/quill сказал , что уже два года Спарк поддерживается
ZM
Вчера ко мне подошёл парень , один из мейнтеййнеров вот этой штуки https://github.com/getquill/quill сказал , что уже два года Спарк поддерживается
вряд ли два, год, по-моему
но надо понимать что её втаскивали с комментами из серии "я сам никогда спарк не юзал"
но надо понимать что её втаскивали с комментами из серии "я сам никогда спарк не юзал"
GP
вряд ли два, год, по-моему
но надо понимать что её втаскивали с комментами из серии "я сам никогда спарк не юзал"
но надо понимать что её втаскивали с комментами из серии "я сам никогда спарк не юзал"
сейчас он вынужден использовать спарк; но да я бы осторожно использовал это
2019 April 05
Sa
Всем привет) Подскажите кому-нибудь встречались ошибки во время выполнения, версия spark 2.3.0 на scala. Воспроизвести не смог на простом коде, нерегулярное появление ошибок(приложение не использует стриминг):
1)ERROR CodeGenerator: failed to compile: org.codehaus.commons.compiler.CompileException: File 'generated.java', Line 5583, Column 49: Cannot instantiate abstract "scala.Option"
org.codehaus.commons.compiler.CompileException: File 'generated.java', Line 5583, Column 49: Cannot instantiate abstract "scala.Option"
2)ERROR CodeGenerator: failed to compile: org.codehaus.commons.compiler.CompileException: File 'generated.java', Line 210, Column 68: Cannot instantiate abstract "scala.collection.immutable.List" org.codehaus.commons.compiler.CompileException: File 'generated.java', Line 210, Column 68: Cannot instantiate abstract "scala.collection.immutable.List"
1)ERROR CodeGenerator: failed to compile: org.codehaus.commons.compiler.CompileException: File 'generated.java', Line 5583, Column 49: Cannot instantiate abstract "scala.Option"
org.codehaus.commons.compiler.CompileException: File 'generated.java', Line 5583, Column 49: Cannot instantiate abstract "scala.Option"
2)ERROR CodeGenerator: failed to compile: org.codehaus.commons.compiler.CompileException: File 'generated.java', Line 210, Column 68: Cannot instantiate abstract "scala.collection.immutable.List" org.codehaus.commons.compiler.CompileException: File 'generated.java', Line 210, Column 68: Cannot instantiate abstract "scala.collection.immutable.List"
2019 April 06
K
In Apache Spark 2.4.1, Scala 2.12 support is GA, and it’s no longer experimental. We will drop Scala 2.11 support in Spark 3.0, so please provide us feedback.
2019 April 08
AA
@pklemenkov Павел, подскажите по вашей специализации (https://www.coursera.org/specializations/big-data-engineering) ДС специалисту будет полезно все, или детализация там такая что ДС большая часть не пригодится? Может рациональнее определённые курсы из специализации?
AA
И вообще как вы её оцениваете (специализацию), что-то третий курс 3.8 оценка.
K
@pklemenkov вы нашли чем скедулить стриминг джобы и перезапускать их
PK
@pklemenkov вы нашли чем скедулить стриминг джобы и перезапускать их
Кроном)
K
PK
@tenKe так ведь?
K
два года назад мы подымали короч крон , который ходил в ярн и смотрел джобу по имени, если нет запускал
PK
Anton Alekseev
@pklemenkov Павел, подскажите по вашей специализации (https://www.coursera.org/specializations/big-data-engineering) ДС специалисту будет полезно все, или детализация там такая что ДС большая часть не пригодится? Может рациональнее определённые курсы из специализации?
Первый и второй курс точно будут полезны. В третьем Spark ML, если есть необходимость, то ок.
AA
Первый и второй курс точно будут полезны. В третьем Spark ML, если есть необходимость, то ок.
Окей, спасибо.