РА
а хайпа сколько :)
Size: a a a
2019 June 05
K
ребят кто что использует для доступа в хдфс из питона?
Ж
Установил в анаконда из канала conda forge confluent kafka а там нет AdminClient. Есть другой канал?
Ж
ребят кто что использует для доступа в хдфс из питона?
Pyarrow
Ж
Можно еще ibis framework но там все очень простенько
OA
Нубский вопрос, если в pyspark датафрейм сохранять df.write.parquet("path")- он ведь сохранит в hdfs?
AZ
Нубский вопрос, если в pyspark датафрейм сохранять df.write.parquet("path")- он ведь сохранит в hdfs?
Он сохранит туда какой путь в path
AZ
Может локально, в hdfs, в S3, все что умеет Hadoop IO
m
какие задачки можно порешать чтоб попрактиковатся в spark?
MB
Звучит круто, раньше не видел такой штуки
Сейчас пытаюсь балансер прикрутить. С haproxy не завёлся, теряет авторизацию. Пытаюсь через nginx.
R
какие задачки можно порешать чтоб попрактиковатся в spark?
Смотря что хочется практиковать, Спарк то большой)
m
Смотря что хочется практиковать, Спарк то большой)
у нас народ с ним работает в контексте биг даты, хотелось бы в этом направлении
m
плюс, мл я уже потрогал
R
у нас народ с ним работает в контексте биг даты, хотелось бы в этом направлении
Ну тогда тебе нужно где то эту бигдату взять для начала, чтобы почувствовать все проблемки с ней.
Если стриминг хочется потрогать - можешь вот так читать Стрим с википедии, а дальше как хочешь развлекаться с ним
https://github.com/renardeinside/wikiflow
Если стриминг хочется потрогать - можешь вот так читать Стрим с википедии, а дальше как хочешь развлекаться с ним
https://github.com/renardeinside/wikiflow
AZ
какие задачки можно порешать чтоб попрактиковатся в spark?
я даю слушателям задачи на основе tpc-h данных, твиттер стрима, правок википедии и ads-b стримов
AZ
но вопрос интересный, присоединяюсь
R
Ещё как вариант читать с Oanda exchange rates и их красиво в бд раскладывать, а сверху над этим какое нибудь аналитическое приложение запилить
m
хмммм, мне бы просто идейку с пайплайном etl -> storage -> алгоритм на основе spark
ЕГ
Попробуйте качнуть таблицу из реляционки