В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

Data Engineers

1786 membersпожаловаться на группу
2020 March 23

D

Dasha in Data Engineers
В целом, в Zeppelin, в интерпретаторе Spark, в пункте spark.jars (Comma-separated list of jars to include on the driver and executor classpaths. Globs are allowed.)  добавила строку /Users/username/Programms/spark_packages/postgresql-42.2.11.jar, и сохранила
источник
17:57пожаловаться#1

D

Dasha in Data Engineers
источник
18:15пожаловаться#2

D

Dasha in Data Engineers
Спасибо, вот скриншот
источник
18:15пожаловаться#3

GP

Grigory Pomadchin in Data Engineers
хм, а этот джарник точно есть на тачке? интепретатор перезапущен?
источник
18:17пожаловаться#4

GP

Grigory Pomadchin in Data Engineers
а то магия какая-то что не подгружает
источник
18:17пожаловаться#5

D

Dasha in Data Engineers
Grigory Pomadchin
хм, а этот джарник точно есть на тачке? интепретатор перезапущен?
Да, jar на месте
источник
18:24пожаловаться#6

АЖ

Андрей Жуков in Data Engineers
а может, у запилина прав на путь нет?
источник
18:40пожаловаться#7

GP

Grigory Pomadchin in Data Engineers
интересно, в логах его это будет отображаться?
источник
18:44пожаловаться#8

SZ

Sergey Zakharov in Data Engineers
Всем привет, подскажите пожалуйста, в каком облачном решении будет удобнее развернуть spark-standalone кластер? В планах раз в месяц заливать в облако порядка 50Гб, обсчитывать и выгружать несколько мегабайт.  Microsoft Azure, Amazon AWS, Google Dataproc, Mail.ru Bigdata, Yandex Data Proc? Кто чем пользуется?
источник
18:46пожаловаться#9

GP

Grigory Pomadchin in Data Engineers
Sergey Zakharov
Всем привет, подскажите пожалуйста, в каком облачном решении будет удобнее развернуть spark-standalone кластер? В планах раз в месяц заливать в облако порядка 50Гб, обсчитывать и выгружать несколько мегабайт.  Microsoft Azure, Amazon AWS, Google Dataproc, Mail.ru Bigdata, Yandex Data Proc? Кто чем пользуется?
амазон, ажур, гугл имеют менджед сервисы (за остальные не знаю); они одинаково по сложности развораичваются (т.е. несложно)

вопрос по менджед сервисам? или хочется купить железо и свое растянуть? (в последнем случае тож разницы нет где тачки)
источник
18:51пожаловаться#10

DZ

Dmitry Zuev in Data Engineers
Sergey Zakharov
Всем привет, подскажите пожалуйста, в каком облачном решении будет удобнее развернуть spark-standalone кластер? В планах раз в месяц заливать в облако порядка 50Гб, обсчитывать и выгружать несколько мегабайт.  Microsoft Azure, Amazon AWS, Google Dataproc, Mail.ru Bigdata, Yandex Data Proc? Кто чем пользуется?
Мб и пг хватит?
источник
18:52пожаловаться#11

ME

Mikhail Epikhin in Data Engineers
Dmitry Zuev
Мб и пг хватит?
но зачем, если можно залить в s3, запустить spark и погасить кластер?
источник
18:53пожаловаться#12

SZ

Sergey Zakharov in Data Engineers
Свой кластер забит задачами, нужны вычислительные мощности на время
источник
18:53пожаловаться#13

DZ

Dmitry Zuev in Data Engineers
Mikhail Epikhin
но зачем, если можно залить в s3, запустить spark и погасить кластер?
мб и спарк не нужен прост
источник
18:53пожаловаться#14

ME

Mikhail Epikhin in Data Engineers
Sergey Zakharov
Всем привет, подскажите пожалуйста, в каком облачном решении будет удобнее развернуть spark-standalone кластер? В планах раз в месяц заливать в облако порядка 50Гб, обсчитывать и выгружать несколько мегабайт.  Microsoft Azure, Amazon AWS, Google Dataproc, Mail.ru Bigdata, Yandex Data Proc? Кто чем пользуется?
ну тут кажется любой из managed решений подходит
источник
18:53пожаловаться#15

DZ

Dmitry Zuev in Data Engineers
50гб это не о чем
источник
18:53пожаловаться#16

ME

Mikhail Epikhin in Data Engineers
Dmitry Zuev
мб и спарк не нужен прост
ну так это +50гб every month, вопрос в том какой retention
источник
18:54пожаловаться#17

SZ

Sergey Zakharov in Data Engineers
Dmitry Zuev
50гб это не о чем
нужно lightgbm-модель обучать, кроссвалидацию гонять, итд
источник
18:54пожаловаться#18

ME

Mikhail Epikhin in Data Engineers
Ну тогда либо спарк, либо просто jupyter поднять:)
источник
19:36пожаловаться#19

ME

Mikhail Epikhin in Data Engineers
Sergey Zakharov
Всем привет, подскажите пожалуйста, в каком облачном решении будет удобнее развернуть spark-standalone кластер? В планах раз в месяц заливать в облако порядка 50Гб, обсчитывать и выгружать несколько мегабайт.  Microsoft Azure, Amazon AWS, Google Dataproc, Mail.ru Bigdata, Yandex Data Proc? Кто чем пользуется?
Возьмите тогда просто то облако, которым уже пользуетесь и все:)
Или если его нет, то то что ближе или куда с бОльшей вероятностью будете другие компоненты / данные перемещать когда-нибудь.
источник
19:37пожаловаться#20