В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

Data Engineers

2447 membersпожаловаться на группу
2021 May 06

ЕП

Евгений Погребняк... in Data Engineers
Коллеги, подскажите плс - пакет для валидации колонок фрейма pandas, похожий на pandera - никто не сталкивался? Помню читал пост, мол есть два похожих пакета, чтобы схему датафрейма pandas контролировать, с близким функционалом - pandera и еще другой. Гугглю - ни слуха ни духа про другой. Типа brute или brush назывался, еще декоратором приделывался к фрейму, мне кажется.
источник
19:46пожаловаться#1

D

Dmitry in Data Engineers
а в EMR/HDinsde разве нельзя ноды по ходу дела добавлять, убирать ?
источник
20:09пожаловаться#2

GP

Grigory Pomadchin in Data Engineers
можно
источник
20:09пожаловаться#3

D

Dmitry in Data Engineers
а зачем тогда каждый раз деплоить кластер ? я смотрел HDinside, упарился ждать пока микро поднялся
источник
20:10пожаловаться#4

ME

Max Efremov in Data Engineers
можно держать маленький и скейлить под задачи
источник
20:12пожаловаться#5

ME

Max Efremov in Data Engineers
ну и поднимается вроде минуты 3-5 всего, если задачи на часы, то норм
источник
20:12пожаловаться#6

GP

Grigory Pomadchin in Data Engineers
зависит конечн много от каких факторов, чем больше машин тем дольше поднимается
и бутстрап у всех же разный
источник
20:15пожаловаться#7

А

Алексей in Data Engineers
@SLASH_CyberPunk можете подсказать, где можно взять дистры Хортона? (Можно в личку). У нас вышла из строя 1 нода, а мы криворукие не делали бекапов установок
источник
20:32пожаловаться#8

ME

Max Efremov in Data Engineers
у меня только сендбоксы выкачаны, на всякий случай))
источник
20:40пожаловаться#9

ПБ

Повелитель Бури... in Data Engineers
А можно 2 слова по "нужной нарезкой" . Вы имеете ввиду, pod с нужными данными?
источник
20:44пожаловаться#10

GZ

Gleb Zhukov in Data Engineers
А можно поподробнее в чем кривость? Обычный ванильный хадуп с патчами там.
источник
21:54пожаловаться#11

AZ

Anton Zadorozhniy in Data Engineers
EKS + Fargate?
источник
22:08пожаловаться#12

JM

J M in Data Engineers
ECS?
источник
22:11пожаловаться#13

AZ

Anton Zadorozhniy in Data Engineers
Не видел как спарк на ecs запускается, а EKS это conformant k8s
источник
22:13пожаловаться#14

AT

Al T in Data Engineers
нету там лент давно уже... это городские мифы какие-то ))
источник
23:40пожаловаться#15
2021 May 07

K

KrivdaTheTriewe in Data Engineers
Там без ансибла даж было вроде
источник
05:23пожаловаться#16

AZ

Anton Zadorozhniy in Data Engineers
В этом же прелесть, нам все равно как оно там устроено, ведёт себя оно как ленты: стоимость хранения, WORM, но и время восстановления такое же
источник
08:24пожаловаться#17

GZ

Gleb Zhukov in Data Engineers
Нет, там уже давно deb-ки собираются автоматизированно через довольно продвинутый gradle-скрипт и катятся через ansible. Часть компонентов катится после ревью автоматически через ci (Jenkins). Вообще своих сборок хадупа на основе дебок CDH много кого есть. Обычно они появлялись после необходимости перехода с хадупа 2.6.5 из CDH5 на что-то более свежее.
источник
09:16пожаловаться#18

K

KrivdaTheTriewe in Data Engineers
Давно , это полтора года ?
источник
09:21пожаловаться#19

GZ

Gleb Zhukov in Data Engineers
Ну типа)
источник
09:22пожаловаться#20