AZ
если дописывать в уже имеющийся файл, то это лишь фикция, на деле все равно много кусков, так?
По сути да
Size: a a a
2021 January 26
MB
По сути да
а есть опыт как в данном случае реализовать хороший способ обработки таких мелких файлов?
AZ
а есть опыт как в данном случае реализовать хороший способ обработки таких мелких файлов?
Писать записи из Кафки сразу в большие файлы или (хуже) писать мелкие с периодическими джобами которые компактят данные
MB
Писать записи из Кафки сразу в большие файлы или (хуже) писать мелкие с периодическими джобами которые компактят данные
первый вариант не очень понял
AZ
первый вариант не очень понял
Вы открываете консьюмера, читаете сообщения и пишете сообщения подряд в файл; когда добегает до «большой файл» (или сообщений давно не было, или след час начался, условия можете придумать) - закрываете, коммитите оффсет, начинаете заново
AZ
Так делает Kafka connect hdfs sink
MB
Вы открываете консьюмера, читаете сообщения и пишете сообщения подряд в файл; когда добегает до «большой файл» (или сообщений давно не было, или след час начался, условия можете придумать) - закрываете, коммитите оффсет, начинаете заново
получается день пишу в один локальный файл и вечером отправлю в хадуп, верно?
AZ
получается день пишу в один локальный файл и вечером отправлю в хадуп, верно?
Зависит от потока, обычно закрывают файлы почаще
AZ
И не локальный, а в HDFS
MB
И не локальный, а в HDFS
в hdfs методом append ()?
AZ
в hdfs методом append ()?
Почему append, обычный write
MB
hadoop это ведь оболочка над Unix файловой системой, я думал может писать просто локально, а потом уже большой файл укладывать в hdfs
AZ
hadoop это ведь оболочка над Unix файловой системой, я думал может писать просто локально, а потом уже большой файл укладывать в hdfs
Нет, HDFS это не оболочка, это самостоятельная система, объектный сторадж которые предоставляет похожий на ФС интерфейс
MB
Почему append, обычный write
если write, это каждый раз создавать новый файл, верно понимаю?
AZ
Если класть сначала в локальный файл то сложнее гарантии обеспечить, ещё одна точка отказа
AZ
если write, это каждый раз создавать новый файл, верно понимаю?
Нет, вы открываете один файл и пишете в него пока ваши критерии закрытия файла не достигнуты
MB
Нет, вы открываете один файл и пишете в него пока ваши критерии закрытия файла не достигнуты
я думал про это, но у меня возникло опасение что для того чтобы файл получился большой, придётся почти целый день держать его открытым, чтобы напомнить и тогда есть проблема того, что приложение слетит и данные за день будут утеряны
AZ
я думал про это, но у меня возникло опасение что для того чтобы файл получился большой, придётся почти целый день держать его открытым, чтобы напомнить и тогда есть проблема того, что приложение слетит и данные за день будут утеряны
Закрывайте файл чаще, ну и не коммитте оффсет в кафку пока файл не закрыли в HDFS
MB
и вторая проблема, что мне нужно писать не в один файл, а в несколько, я даже не знаю со временем на сколько это количество может возрасти, там просто идёт парсинг входящего файла и по одному из полей создаётся каталог
MB
получается на вход идёт много файлов и они укладываются не в один каталог, а в разные, сейчас их например не более 10