PK
День добрый! А подскажите - бывает ли трансляция Moscow Spark?
Будет и трансляция и запись
Size: a a a
2019 August 01
R
А ссылку на трансляцию как можно получить? После реги? Или рега только для очного?
PK
А ссылку на трансляцию как можно получить? После реги? Или рега только для очного?
Ссылка будет в этом чате за 10-15 минут до начала
R
Ссылка будет в этом чате за 10-15 минут до начала
R
Спасибо!
K
Ссылка будет в этом чате за 10-15 минут до начала
ура
K
приду
K
интересно, Пётор придет?
PK
Какой из?
K
@tenKe вы выбрали что то для стриминга и датаквалити по нему?
t
@tenKe вы выбрали что то для стриминга и датаквалити по нему?
первую часть вопроса не совсем понял, по второй обходимся тем же етл над стримами
K
ну условно, вы как-то проверяете в микробатче значения какие-то или потом батчем уже качество данных смотрите?
t
ну условно, вы как-то проверяете в микробатче значения какие-то или потом батчем уже качество данных смотрите?
на стриме
K
на стриме
Вы какой - то фреймворк используете или сами условия кодом расписали?
t
все руками, никакой электроники)
2019 August 02
ab
Всем привет, подскажите по поведению спарка, есть логи в паркете (около 2 Tb), ищу в них регуляркой определенный паттерн, хочу записать csv с 100 строками из логов, удовлетворяющему условию.
Почему collect отдает результаты почти сразу же, а write.csv запускает фильтр видимо по всем данным, а только потом выполняет limit?
val df = spark.read.parquet("/path/to/parquet/*").filter("_raw rlike 'GET'").limit(100)
val res = df.collect()
df.write.csv("/path/to/csv")Почему collect отдает результаты почти сразу же, а write.csv запускает фильтр видимо по всем данным, а только потом выполняет limit?
DG
Привет.
Кто нибудь сталкивался с проблемой (см. также тикеты внутри) в spark 2.4.x + zeppelin 0.8.1:
https://issues.apache.org/jira/browse/SPARK-20525
Или может хотя бы объяснить в чем проблема, на пальцах?
Кто нибудь сталкивался с проблемой (см. также тикеты внутри) в spark 2.4.x + zeppelin 0.8.1:
https://issues.apache.org/jira/browse/SPARK-20525
Или может хотя бы объяснить в чем проблема, на пальцах?
2019 August 06
SO
@pklemenkov ^ spam
PK
Хм, бодренько мы закрыли регистрацию в этот раз ))
С
Хм, бодренько мы закрыли регистрацию в этот раз ))
Секрет в офисе