Size: a a a

2021 October 09

DZ

Dmitry Zuev in Data Engineers
Ээээ,нет
источник

DZ

Dmitry Zuev in Data Engineers
Вот как тебе это поможет сплиты сделать равномерные
источник

ЕГ

Евгений Глотов... in Data Engineers
Можно любой таймстемп или просто хоть что-нибудь взять
источник

DZ

Dmitry Zuev in Data Engineers
Ещё хуже
источник

ЕГ

Евгений Глотов... in Data Engineers
Хз, 3 года помогало, а щас не поможет)
источник

DZ

Dmitry Zuev in Data Engineers
Значит все было оч просто
источник

ЕГ

Евгений Глотов... in Data Engineers
Всё очень просто
источник

ЕГ

Евгений Глотов... in Data Engineers
Хэш по модулю
источник

DZ

Dmitry Zuev in Data Engineers
За 6 лет десяток раз такое не сработало
источник

ЕГ

Евгений Глотов... in Data Engineers
Пруфы в студию😆
источник

GP

Grigory Pomadchin in Data Engineers
ток если знаешь файл формат и как бить можешь попробовать разбить на колво партиций которые хочешь и прочитать в каждую что надо руками
источник

GP

Grigory Pomadchin in Data Engineers
бинпакинг будет
источник

GP

Grigory Pomadchin in Data Engineers
источник

DZ

Dmitry Zuev in Data Engineers
Твои пруфы где?
источник

GP

Grigory Pomadchin in Data Engineers
а так все верно говоришь в общем случае
источник

DZ

Dmitry Zuev in Data Engineers
Вот я тебе даю кейс выше, ты говоришь что просто накинь память
источник

ЕГ

Евгений Глотов... in Data Engineers
Может мы о разном говорим?
источник

DZ

Dmitry Zuev in Data Engineers
Зачем мне память когда я в фс пишу
источник

ЕГ

Евгений Глотов... in Data Engineers
Не говорил накинуть память
источник

GP

Grigory Pomadchin in Data Engineers
буфер типо
источник