ММ
256 стоит, больше не дадут
Size: a a a
2020 February 05
ММ
хорошо, если не размер, то количество
K
Господа, приветствую. Как можно на уровне конфига спарка принудительно дробить файлы в hdfs'е по нужному мне размеру? (repartiton не подходит, df слишком большой, просто ресурсов не хватает)
никак
K
уменьшать размер микробатча и играться с размером макс оффсет пер тирггер
KG
Господа, приветствую. Как можно на уровне конфига спарка принудительно дробить файлы в hdfs'е по нужному мне размеру? (repartiton не подходит, df слишком большой, просто ресурсов не хватает)
входные файлы дробить сразу на нужное число партиций или на выходе?
S
походу кривда про кафку сказал, не?
ММ
входные файлы дробить сразу на нужное число партиций или на выходе?
На выходе
KG
На выходе
попробуй spark.sql.files.maxRecordsPerFile
KG
щас пример нагуглю
KG
KG
к сожалению не по размеру, но хоть что-то
ММ
Сейчас гляну, спасибо
AZ
лучше чем max records не будет ничего, так как заранее неизвестно какие результаты даст выбранный вариант формата и компрессии; большинство использует эвристики, чтобы держать файлы достаточно большого размера, но конкретного размера никто не пытается добиться
SS
дяденьки-инженеры, в HBase делаю снепшот таблички - локальность регионов «1», затем при восстановлении этого снепшота локальность сильно падает
видели готовые решения?
видели готовые решения?
AS
Major compact?
AZ
Major compact?
This
ДП
Коллеги, всем привет) Нужен совет коллективного разума, а точнее взгляд со стороны и мнение. Я много лет занимаюсь оценкой программистов и хочу провести большую лекцию на тему «Профессионализм программиста: потенциал или опыт?». Но мне сказали, что название непонятное. Вы бы пошли на лекцию с таким названием? Видите ли в нём противоречие или что-то, что отталкивает? Буду рад любой критике)
SS
Major compact?
это долго на больших объемах ((
BK
Всем привет! У меня вопрос: как добавить поддержку Кафки в Хайфе 3.1.2 ?
S
в городе?