В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

Data Engineers

1787 membersпожаловаться на группу
2020 March 31

K

KrivdaTheTriewe in Data Engineers
Anton Zadorozhniy
спарк очень ограничен при работе с огромными партициями (и также миллиардами маленьких таблиц/партиций), у него sweet spot есть и если вы в него не попадаете то мб очень больно, поэтому моя рекомендация - надо взять (или написать самим, не на спарке) специальный тул который будет гибче в части этих ограчений
а менеджить то падения как?
источник
00:40пожаловаться#1

K

KrivdaTheTriewe in Data Engineers
спарк это все менеджит
источник
00:41пожаловаться#2

AZ

Anton Zadorozhniy in Data Engineers
KrivdaTheTriewe
а менеджить то падения как?
в смысле? рестартуем Н раз, а потом говорим что проблема
источник
00:41пожаловаться#3

AZ

Anton Zadorozhniy in Data Engineers
вы знаете что есть другие фреймворки которые умеют работать с падениями/рестартами воркеров (и даже мастеров!)?
источник
00:42пожаловаться#4

AZ

Anton Zadorozhniy in Data Engineers
ваш подход напомнил мне одного студента который генерил HTML код страницы в хранимой процедуре на БД)
источник
00:43пожаловаться#5

K

KrivdaTheTriewe in Data Engineers
Anton Zadorozhniy
вы знаете что есть другие фреймворки которые умеют работать с падениями/рестартами воркеров (и даже мастеров!)?
спарк умеет
источник
00:44пожаловаться#6

N

Nikolay in Data Engineers
Anton Zadorozhniy
ваш подход напомнил мне одного студента который генерил HTML код страницы в хранимой процедуре на БД)
..а потом из этого получился APEX.
источник
00:44пожаловаться#7

AZ

Anton Zadorozhniy in Data Engineers
Nikolay
..а потом из этого получился APEX.
"ну решение же на поверхности!"
источник
00:44пожаловаться#8

K

KrivdaTheTriewe in Data Engineers
Anton Zadorozhniy
ваш подход напомнил мне одного студента который генерил HTML код страницы в хранимой процедуре на БД)
в результате имеем велосипеды по всей индустрии с плохой миграцией специалистов и плохими практиками.
источник
00:45пожаловаться#9

AZ

Anton Zadorozhniy in Data Engineers
KrivdaTheTriewe
в результате имеем велосипеды по всей индустрии с плохой миграцией специалистов и плохими практиками.
я тоже так считаю, поставил ему "удовл"
источник
00:46пожаловаться#10

K

KrivdaTheTriewe in Data Engineers
потому что баз 10 штук условно, проблемы общие
источник
00:46пожаловаться#11

K

KrivdaTheTriewe in Data Engineers
а решаем почему-то ккаждый раз по - новому
источник
00:46пожаловаться#12

AZ

Anton Zadorozhniy in Data Engineers
так инструмент под задачу нужен, спарк же явно сделан под другое, а вы его как ту сову натягиваете
источник
00:47пожаловаться#13

K

KrivdaTheTriewe in Data Engineers
Anton Zadorozhniy
так инструмент под задачу нужен, спарк же явно сделан под другое, а вы его как ту сову натягиваете
спарк работает хорошо на 90 процентах задач с нормальным sdk
источник
00:48пожаловаться#14

K

KrivdaTheTriewe in Data Engineers
другие инструменты предлагают bash sdk
источник
00:48пожаловаться#15

K

KrivdaTheTriewe in Data Engineers
при этом, опять же непонятно в случае генерилки, как вычислять по каким полям сплитить , какими размерами и так далее
источник
00:49пожаловаться#16

AZ

Anton Zadorozhniy in Data Engineers
KrivdaTheTriewe
спарк работает хорошо на 90 процентах задач с нормальным sdk
хранимые процедуры работают нормально на 95% задач, зачем вообще что-то еще?
источник
00:49пожаловаться#17

K

KrivdaTheTriewe in Data Engineers
хранимые процедуры не ереносимы
источник
00:49пожаловаться#18

AZ

Anton Zadorozhniy in Data Engineers
KrivdaTheTriewe
другие инструменты предлагают bash sdk
так а инженеры на что?
источник
00:49пожаловаться#19

K

KrivdaTheTriewe in Data Engineers
Anton Zadorozhniy
так а инженеры на что?
сокращать численность штата
источник
00:50пожаловаться#20