В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

Data Engineers

2445 membersпожаловаться на группу
2021 April 30

Р

Ринат in Data Engineers
На удаленном сервере крутятся три контейнера в докере, один мастер и два воркера. Я со своего компа пытаюсь через интерпритатор запустить хоть что то, чтоб протестить. Когда я посылаю жобу, она забирает все ресурсы, и не выполняется. Скрины композ файла и Ui спарка могу кинуть, если нужно
источник
22:42пожаловаться#1

GP

Grigory Pomadchin in Data Engineers
у тебя ситуация когда твой драйвер (твоя машина) не в сети
у тебя вариант самый простой проверить что все доступно это быть в сети с мастером и воркерами
твой драйвер может достучаться до мастера, но в обратную сторону у тебя рпс не работает - ты не в сети
источник
22:43пожаловаться#2

GP

Grigory Pomadchin in Data Engineers
то что у тебя проблемы с дотупом к кластеру это едиснвтенны вариант объяснить что ресурсы не выделяются
источник
22:43пожаловаться#3

GP

Grigory Pomadchin in Data Engineers
альтернативный вариант ты в петоношеле требуешь от кластера сликшом много ресурсов
источник
22:43пожаловаться#4

Р

Ринат in Data Engineers
Но они же выделяются
источник
22:44пожаловаться#5

GP

Grigory Pomadchin in Data Engineers
драйвер выделяет, но никогда не слышит назад от кластера
источник
22:44пожаловаться#6

GP

Grigory Pomadchin in Data Engineers
потому что кластер никак до тебя не достучится
источник
22:44пожаловаться#7

GP

Grigory Pomadchin in Data Engineers
ты ж не в сети
источник
22:44пожаловаться#8

GP

Grigory Pomadchin in Data Engineers
уже проверил бы сто раз, гадания по каментам в чяте тяжело. у тебя что угодно может быть и скорее всего у тебя енв не рабочий просто
источник
22:45пожаловаться#9

GP

Grigory Pomadchin in Data Engineers
на мастер зайди, подними там пайшел, и проверь что все работает
источник
22:45пожаловаться#10

Р

Ринат in Data Engineers
Вот сейчас я кажется понял, спасибо большое
источник
22:46пожаловаться#11

ЕГ

Евгений Глотов... in Data Engineers
Если ты из питона запускаешь SparkSession, то внутри там делается спарк-сабмит
источник
22:56пожаловаться#12
2021 May 01

S

Shadle in Data Engineers
Как выбрать в postgresql
channel_id со значением TRUE но с максимальным приоритетом?
источник
11:22пожаловаться#13

S

Shadle in Data Engineers
Должно вернуться 1
источник
11:27пожаловаться#14

NB

Nikita Bakanchev in Data Engineers
заджоинить и оконку с сортировкой аля last_value с distinct в конце
источник
11:28пожаловаться#15

NB

Nikita Bakanchev in Data Engineers
хотя не очень понятно, что в итоге ожидается
источник
11:28пожаловаться#16

S

Shadle in Data Engineers
SELECT channel_id FROM client_channels
INNER JOIN client_channels_default ON client_channels.client_id = client_channels_default.client_id
WHERE client_channels.is_valid=TRUE
AND client_channels.client_id = NEW.client_id
AND client_channels_default.priority = MIN(client_channels_default.priority
источник
11:29пожаловаться#17

NB

Nikita Bakanchev in Data Engineers
пара clent_id, channel_id с макс приоритетом?
источник
11:29пожаловаться#18

S

Shadle in Data Engineers
нужен только айди канала
источник
11:30пожаловаться#19

S

Shadle in Data Engineers
можно кодом, пожалуйста, я новичок еще, синтаксис не очень хорошо знаю
источник
11:31пожаловаться#20