В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

Data Engineers

2211 membersпожаловаться на группу
2021 January 09

KS

K S in Data Engineers
Хотя один хост наверное может захлебнуться от такого траффика.
источник
09:23пожаловаться#1

re

reeww eew in Data Engineers
ВАЖНО📍Добрый вечер подскажите направление!!!

Изучаю python плотно уже 7 месяцев! Знаю такие библиотеки как: urllib, BeautifulSoup, Scrapy. Немного  pyTelegramBotAPI (написал пару ботов для бк)

Куда двигаться дальше??? С таким стеком на работу не устроишься, фриланс попробывал не мое! Есть два направления Data engineer vs Django. Что бы посоветовали?
источник
20:40пожаловаться#2

S

Stanislav in Data Engineers
Старый Хрыч
ну вот мне нужно сделать презентацию, почему переезд с 1 hive на 3,1,5 сильно уменьшит кол-во костылей, ускорит работу, упростит написание кода
Ты сильно рискуешь, очень. Если у вас уже есть 25 петабайт, на которых работает хайв1 (а он работает только на мр движке), то перенос кодовой базы на тройку может быть весьма болезненным. По скорости скорее всего будет плюс минус. И не дай бог влезть в хдп сборку третьехайва
источник
21:47пожаловаться#3

СХ

Старый Хрыч... in Data Engineers
Stanislav
Ты сильно рискуешь, очень. Если у вас уже есть 25 петабайт, на которых работает хайв1 (а он работает только на мр движке), то перенос кодовой базы на тройку может быть весьма болезненным. По скорости скорее всего будет плюс минус. И не дай бог влезть в хдп сборку третьехайва
почему по скорости минус будет?
источник
21:48пожаловаться#4

S

Stanislav in Data Engineers
Данных много. Тюнить тез заебешься
источник
21:49пожаловаться#5

S

Stanislav in Data Engineers
Ещё и стрельнет неоьимальныц конфиг, то оом будут на больших кусках, то джобы с пустой на 9/10 памятью
источник
21:50пожаловаться#6

A

Alex in Data Engineers
Stanislav
Ты сильно рискуешь, очень. Если у вас уже есть 25 петабайт, на которых работает хайв1 (а он работает только на мр движке), то перенос кодовой базы на тройку может быть весьма болезненным. По скорости скорее всего будет плюс минус. И не дай бог влезть в хдп сборку третьехайва
Там они протокол hive патчили, поэтому или сборка спарка от хортона, или если хочешь свой спарк, то заменяй хортон хайв на апачевский
источник
21:52пожаловаться#7

СХ

Старый Хрыч... in Data Engineers
Alex
Там они протокол hive патчили, поэтому или сборка спарка от хортона, или если хочешь свой спарк, то заменяй хортон хайв на апачевский
ну хортона больше нет
источник
21:55пожаловаться#8

СХ

Старый Хрыч... in Data Engineers
потому в любом случае уже думаем куда, аренадату даже форсят кто-то
источник
21:55пожаловаться#9

СХ

Старый Хрыч... in Data Engineers
😐просто выборки огромные, модели весят по 40-90 тб
источник
21:56пожаловаться#10

S

Stanislav in Data Engineers
При таких обьемах почему не держать ванилу - непонятно. Вроде штатка должна позволить, чай не петабайт лежит
источник
21:56пожаловаться#11

СХ

Старый Хрыч... in Data Engineers
Stanislav
При таких обьемах почему не держать ванилу - непонятно. Вроде штатка должна позволить, чай не петабайт лежит
😐25 петабайт данных, плюс расширять штат не хотят, плюс ставили хрен пойми когда, плюс нужна морда
источник
21:57пожаловаться#12

СХ

Старый Хрыч... in Data Engineers
всё таки основной плюс хортона был, что часть работы за счёт амбари можно было на техпо переложить
источник
21:58пожаловаться#13

СХ

Старый Хрыч... in Data Engineers
а с ванилью уже так не сделаешь
источник
21:58пожаловаться#14

S

Stanislav in Data Engineers
Достаточно попасть на переписывание всей кодовой базы на платформе из-за решения вендора что-то впилить или выпилить - сразу голова чистится. А связка клаудера/хортон таким обожает заниматься
источник
22:00пожаловаться#15

S

Stanislav in Data Engineers
Старый Хрыч
всё таки основной плюс хортона был, что часть работы за счёт амбари можно было на техпо переложить
Это какой работы то? Ввод новых нод?)
источник
22:01пожаловаться#16

СХ

Старый Хрыч... in Data Engineers
Stanislav
Это какой работы то? Ввод новых нод?)
😐перезапуск ярна из гуя🤣 и таймлайн сервера
источник
22:02пожаловаться#17
2021 January 10

ME

Max Efremov in Data Engineers
нужен бот от спамеров)
источник
21:01пожаловаться#18

ME

Max Efremov in Data Engineers
чо нить по бигдате спрашивать, покемон или бигдата, например)
источник
21:01пожаловаться#19

В

Вячеслав in Data Engineers
Max Efremov
чо нить по бигдате спрашивать, покемон или бигдата, например)
Например, "Что надо пропатчить под FreeBSD, если это канал об аниме?"
источник
21:11пожаловаться#20