В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

Data Engineers

3187 membersпожаловаться на группу
2021 September 10

ИК

Иван Калининский... in Data Engineers
ну, это с ходу такие соображения, что касается файлов, то я всегда склоняюсь к тому, что файлы одинакового размера лучше, и стараюсь, чтобы приложения обладали информацией, как лучше разделить данные, чтобы этой цели достичь

И разве в HDFS есть какая-то другая запись? ))
источник
16:07пожаловаться#1

Д

Дмитрий in Data Engineers
Не знаю, но слышал сказки про блоки.
источник
16:07пожаловаться#2

Д

Дмитрий in Data Engineers
@KaiNie_R но полюбому спасибо !
источник
16:16пожаловаться#3

AZ

Anton Zadorozhniy in Data Engineers
Интересно, расскажите?
источник
16:17пожаловаться#4

GP

Grigory Pomadchin in Data Engineers
Рибята а есть дешевый способ в спарке анкодить / декодить объекты в / из InternalRow (кроме как руками писать их для конкретных типов)? Материализация из анкодера сериалайзера / десериалайзера дорогая; а десериалайзер еще и не тредсейфный
источник
16:17пожаловаться#5

ИК

Иван Калининский... in Data Engineers
Только RowEncoder использую. Но он относительно редко материализуется в сериалайзер (per partition)
источник
16:19пожаловаться#6

Д

Дмитрий in Data Engineers
Мое мнение что это сказки, но буду смотреть как сделана запись в паркет или орк, другой правды нет. Я знаю по букварям что пишем всегда в конец файла.
источник
16:20пожаловаться#7

GP

Grigory Pomadchin in Data Engineers
ну пер партишен кстати годно наврерное
источник
16:20пожаловаться#8

GP

Grigory Pomadchin in Data Engineers
гляну почему у меня пер запись вообще десериалайзер вызывался
источник
16:20пожаловаться#9

ИК

Иван Калининский... in Data Engineers
Может в Kryo есть что-то нужное, чтобы далеко не ходить?
источник
16:21пожаловаться#10

GP

Grigory Pomadchin in Data Engineers
Ну ро анкодер удобен что б T <=> InternalRow <=> Row (там сами датасеты делают)
источник
16:21пожаловаться#11

GP

Grigory Pomadchin in Data Engineers
там в принципе не может быть
источник
16:21пожаловаться#12

ИК

Иван Калининский... in Data Engineers
ну да, другие объекты не перекодировал, только Row
источник
16:21пожаловаться#13

ИК

Иван Калининский... in Data Engineers
InternalRow по сути Byte[], может байтСтрим в него попробовать записать? Но есть тонкости с кратностью 8 байт
источник
16:23пожаловаться#14

GP

Grigory Pomadchin in Data Engineers
а зачем? мне надо материализовывать из него)
источник
16:24пожаловаться#15

GP

Grigory Pomadchin in Data Engineers
запись то не дорого
источник
16:24пожаловаться#16

GP

Grigory Pomadchin in Data Engineers
ну т.к. она обычно контролируется хорошо
источник
16:24пожаловаться#17

GP

Grigory Pomadchin in Data Engineers
а десериализация может случиться скажем на жойне по экспрешонам (и вот в этих экспрешонах десериализация)
источник
16:25пожаловаться#18

ИК

Иван Калининский... in Data Engineers
если так, то джойн делать очень дорого.
А в спаркочате что говорят?
источник
16:30пожаловаться#19

GP

Grigory Pomadchin in Data Engineers
там не спросил)
ну наверное надо убедиться что пер партишен материализация
источник
16:31пожаловаться#20