В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

Data Engineers

2053 membersпожаловаться на группу
2020 November 18

M

Mironiken in Data Engineers
Логов с экзекьюторов совсем нет?
источник
10:05пожаловаться#1

SD

Serg D. in Data Engineers
Andrey Smirnov
Вы можете вычитывать всю таблицу и на спарке ее фильтровать
Ок, спасибо. Перепроверю.
источник
10:06пожаловаться#2

SD

Serg D. in Data Engineers
Mironiken
Логов с экзекьюторов совсем нет?
На текущий момент - нет. Только логи приклада. Там вижу ровно то же самое. Между началом сохранения файла и завершения - 5 часов.
источник
10:07пожаловаться#3

SS

Sergey Shushkov in Data Engineers
А пишет то куда?
источник
10:10пожаловаться#4

SD

Serg D. in Data Engineers
В hdfs. Как parquet файл.
источник
10:10пожаловаться#5

SS

Sergey Shushkov in Data Engineers
Сеть одна, перезапусков, потерь экзекуторов нет?
источник
10:11пожаловаться#6

SD

Serg D. in Data Engineers
Видимо есть...
источник
10:12пожаловаться#7

SS

Sergey Shushkov in Data Engineers
4 стейджа из них 11 упали? Хороший рейт )
источник
10:13пожаловаться#8

SD

Serg D. in Data Engineers
У меня тоже большое кол-во вопросов к кластеру, но пока они без ответа )))
источник
10:14пожаловаться#9

M

Mironiken in Data Engineers
Вполне возможно причина падений - какие-нибудь кривые хардбиты
источник
10:16пожаловаться#10

SD

Serg D. in Data Engineers
Andrey Smirnov
Вы можете вычитывать всю таблицу и на спарке ее фильтровать
Спасибо. Судя по всему в этом и было дело. Поправил фильтры и результат уже заметен. Буду дальше копать. Спасибо.
Failed tasks вроде тоже пропали. Нужно еще погонять для чистоты эксперимента
источник
12:00пожаловаться#11

AS

Andrey Smirnov in Data Engineers
Serg D.
Спасибо. Судя по всему в этом и было дело. Поправил фильтры и результат уже заметен. Буду дальше копать. Спасибо.
Failed tasks вроде тоже пропали. Нужно еще погонять для чистоты эксперимента
есть особенности в использовании коннекторов (какой у вас, какой hbase), это уже обсуждалось в чате
источник
12:06пожаловаться#12

SD

Serg D. in Data Engineers
Понял, поищу. Спасибо
источник
12:08пожаловаться#13

AZ

Anton Zadorozhniy in Data Engineers
Всеми любимый Мартин Клепман выложил свой университетский курс по распределенным системам в публичный доступ https://martin.kleppmann.com/2020/11/18/distributed-systems-and-elliptic-curves.html
источник
17:15пожаловаться#14

T

T in Data Engineers
супер, спасибо за ссылку!
источник
17:22пожаловаться#15

ME

Max Efremov in Data Engineers
А у кого-то были с Apache Livy проблемы, что ресурсов не хватает? Десяток джоб запустишь и всё, нет ресурсов в кластере для новых...
источник
18:35пожаловаться#16

АЖ

Андрей Жуков... in Data Engineers
Max Efremov
А у кого-то были с Apache Livy проблемы, что ресурсов не хватает? Десяток джоб запустишь и всё, нет ресурсов в кластере для новых...
а их реально нет?
источник
18:36пожаловаться#17

ME

Mikhail Epikhin in Data Engineers
Max Efremov
А у кого-то были с Apache Livy проблемы, что ресурсов не хватает? Десяток джоб запустишь и всё, нет ресурсов в кластере для новых...
Ну вопрос что в YARN, тут не важно через что запускать
источник
18:36пожаловаться#18

ME

Mikhail Epikhin in Data Engineers
Подозреваю что вы создали много сессий и не отпускаете их просто
источник
18:36пожаловаться#19

ME

Max Efremov in Data Engineers
Да фиг знает, там 4 ec2 машины, ожидаю, что в очередь построятся, если сразу не могут все
источник
18:36пожаловаться#20