Size: a a a

2019 April 30

UD

Uncel Duk in Data Engineers
Может там уже поезд есть
источник

UD

Uncel Duk in Data Engineers
Который так чух-чух
источник

RI

Rustam Iksanov in Data Engineers
Uncel Duk
А какие сейчас модные способы перелить кластер в другое место? inb4 грузовичок авса/азура и т.д
меня вполне устроит hadoop distcp, но вот почему не происходит соединения я пока понять не могу.
источник

UD

Uncel Duk in Data Engineers
Rustam Iksanov
меня вполне устроит hadoop distcp, но вот почему не происходит соединения я пока понять не могу.
Если разные кластера с ha, там нужно маленький костыль в конфиге сделать
источник

RI

Rustam Iksanov in Data Engineers
Uncel Duk
Если разные кластера с ha, там нужно маленький костыль в конфиге сделать
сорян, не очень понимаю терминологию, а где и какой костыль?
источник

UD

Uncel Duk in Data Engineers
источник

UD

Uncel Duk in Data Engineers
Примерно так
источник

RI

Rustam Iksanov in Data Engineers
спс
источник

GP

Grigory Pomadchin in Data Engineers
Кстати, не сразу бросается в глаза, но Spark 2.4.2 - первый релиз, который в байнарях распространяется сбилженым под скалу 2.12 по дефолту.

Так что официально процесс дропа 2.11 уже начался.

Возможно в течении след некоторых месяцев EMR будет на скале 2.12
источник
2019 May 01

A

Alex in Data Engineers
@pomadchin не знаю как "не сразу бросается в глаза", но они это официально заявляли типо “все, наконец мы собрали и 2.12 по дефолту, в 3.0 мы дропаем 2.11" :)
источник

КБ

Константин Белов in Data Engineers
а где найти автоматический загрузчик pdf документов с научного ресурса (статей)  ?
я думал паука запустить из книги "Программируем коллективный разум", но там не заработало, старые версии, зависимости и еще какая-то ерунда...
источник

GP

Grigory Pomadchin in Data Engineers
Alex
@pomadchin не знаю как "не сразу бросается в глаза", но они это официально заявляли типо “все, наконец мы собрали и 2.12 по дефолту, в 3.0 мы дропаем 2.11" :)
они это заявили в 2.4 или 2.4.1 (наверное последнее) однако только в 2.4.2 дистрибутив стал на 2.12
источник

GP

Grigory Pomadchin in Data Engineers
в 3.0 они кильнут профиль 2.11 из билда)
источник

A

Alex in Data Engineers
В 2.4.2 они 2.11 пометили как депрекейтед
источник

GP

Grigory Pomadchin in Data Engineers
Alex
В 2.4.2 они 2.11 пометили как депрекейтед
источник

A

Alex in Data Engineers
https://spark.apache.org/releases/spark-release-2-4-2.html

Note that Scala 2.11 support is deprecated from 2.4.1 onwards. As of 2.4.2, the pre-built convenience binaries are compiled for Scala 2.12. Spark is still cross-published for 2.11 and 2.12 in Maven Central, and can be built for 2.11 from source.
источник

A

Alex in Data Engineers
а я про это
источник

GP

Grigory Pomadchin in Data Engineers
эх ну это то да
источник
2019 May 02

В

Влад in Data Engineers
За livy curl есть с кем поговорить?
источник

GP

Grigory Pomadchin in Data Engineers
может быть @dos65 может помочь; если он окнечно рассматривал livy в то время как пилил https://github.com/Hydrospheredata/mist
источник