А
Ух ты незнал
Size: a a a
2021 June 18
N
Если немного упороться и раскурить статью одного китайца, то можно прямо в пучарме настроить ремоут интерпретер где есть спарк и говнякать прямо из пучарма.
NN
Можно так, а можно юпитер сервер настроить, если пайчарм профешнал.)
N
Пошла жара. Странно, что бдт никто не вспомнил.
ПФ
Так вроде бы этого есть дс эдишн? Ну и вскод если надо именно бесплатное решение иметь
ПФ
Я вспомнил, но просили же бесплатное
AZ
да cost чего угодно, open source проект обычно не представляют "бесплатный ..." Databricks Community Edition бесплатный, GitHub Codespaces пока бесплатный..
ПФ
Ну мы знаем людей, которые просто гоняют локальный Юпитер с пайспарком и им ок. Если очень надо - будет бесплатно
AZ
ну наверное так и надо сказать, запускайте open source jupyter на своем текущем железе - это бесплатно
у меня легкая идиосинкразия когда open source выставляют как "бесплатное" в первую очередь... я так и представляю как на конференции объявляют: "Линус Торвальдс, разработчик бесплатного ядра операционной системы"
у меня легкая идиосинкразия когда open source выставляют как "бесплатное" в первую очередь... я так и представляю как на конференции объявляют: "Линус Торвальдс, разработчик бесплатного ядра операционной системы"
ПФ
Я понимаю что ничто из этого не до конца бесплатное, но часто можно пренебречь костами потому что они аккуратно размываются в остальных
ПФ
Ну ядро совсем бесплатное же! Опенсорс не всегда бесплатный, как мы знаем, но обычно всё что можно собрать и запустить самому удобно считать бесплатным
ПФ
Потому что иначе может становится очень сложной
А
С танцем с бубном поднял Jupyter и Spark на винде. Вопрос - блок с findspark теперь всегда придется добавлять, при разработке любого скрипта? Т.е. как бы помогать Jupiter найти инстанс спарка при каждом запуске?
ПФ
Наверняка в настройках интерпретатора можно указать
NN
Сори за небольшой офтоп, но, мне кажется, проще и полезнее завести линух и делать это сразу в нем, гемора в разы меньше.
А насчёт файндспарка - можно и без него, просто задай переменные окружения (spark_home, etc)
А насчёт файндспарка - можно и без него, просто задай переменные окружения (spark_home, etc)
А
точно, спасибо!
B
Под виндой можно поставить docker desktop а в нем развернуть https://hub.docker.com/r/jupyter/all-spark-notebook ! Юпитер - спарк3 - питон - скала- все в одном
2021 June 19
А
красота какая! Спасибо
KS
Кто нибудь пробовал varada?
KS
посмотрел их рекламу, пишут намного быстрее, чем aws athena