GG
Я склоняюсь к avro, но не очень понятно, будет ли это трудно достать с помощью pyspark в будущем. Я пока не смог найти, поддерживает ли pyspark нативно avro
А вы точно уверены, что вам нужен пайспарк ? 😳😳😳
Size: a a a
2019 May 06
GG
Авро вроде уже есть все, что можно
GP
авро медленный на питоне
RI
А вы точно уверены, что вам нужен пайспарк ? 😳😳😳
мне нет, но часть команды очевидно будет использовать его.
GP
но достать будет не трудно
GG
мне нет, но часть команды очевидно будет использовать его.
Production code or data science ?
GG
Просто если к проду требование скорости.... То это не про пайтон. К сожалению
RI
Production code or data science ?
Тут речь только про ресерч
GP
тогда скорость не важна же
GG
А, ну, ок, тогда
GP
хоть авро
GP
хоть что угодно
RI
Спасибо
AS
Я склоняюсь к avro, но не очень понятно, будет ли это трудно достать с помощью pyspark в будущем. Я пока не смог найти, поддерживает ли pyspark нативно avro
Если делать так (spark 2.4), то все получится
SpSession = SparkSession.builder.appName('appname').master('самизнаетечто'). ... .config("spark.jars.packages", "org.apache.spark:spark-avro_2.11:2.4.0").getOrCreate()
...
data = SpSession.read.format("com.databricks.spark.avro").load('самизнаетечто')RI
спс
M
Привет, чат! с позволения админа хочу сделать небольшой анонс.
M
25 мая не пропустите Machine learning meetup в Воронеже!
Готов ли мир дать машинам искусственный интеллект? Пускай машины решают за нас рутинные задачи, обрабатывают большие объемы данных, или просто помогают нам принимать наиболее оптимальные решения в повседневной жизни. Но для этого нужно их многому научить.
Как это сделать? Расскажем на Machine learning митапе.
Участие бесплатное, с регистрацией на TimePad
👉🏼Кому будет интересен Machine Learning Meetup?
- Разработчикам любого уровня, интересующимся машинным обучением, нейронными сетями
- Тем, кто только хочет начать своё знакомство с искусственным интеллектом и присоединиться к коммьюнити
- А также специалистам в других технологиях для расширения профессионального кругозора
Полная программа митапа: https://metaconf.net
Организаторы: Компании Evrone.com и DataArt
Готов ли мир дать машинам искусственный интеллект? Пускай машины решают за нас рутинные задачи, обрабатывают большие объемы данных, или просто помогают нам принимать наиболее оптимальные решения в повседневной жизни. Но для этого нужно их многому научить.
Как это сделать? Расскажем на Machine learning митапе.
Участие бесплатное, с регистрацией на TimePad
👉🏼Кому будет интересен Machine Learning Meetup?
- Разработчикам любого уровня, интересующимся машинным обучением, нейронными сетями
- Тем, кто только хочет начать своё знакомство с искусственным интеллектом и присоединиться к коммьюнити
- А также специалистам в других технологиях для расширения профессионального кругозора
Полная программа митапа: https://metaconf.net
Организаторы: Компании Evrone.com и DataArt
I
программа выглядит маркетинговым буллшитом: https://metaconf.net/machine-learning
