IS
Через kafka connect с hdfs коннектором можно писать из простого json в авро или паркет в hdfs ? Или в кафке должен быть именно авро со схемой?
второе
видели новость?
https://dotnet.microsoft.com/apps/data/spark
Size: a a a
2019 April 30
OO
OP
второе
сенк
OP
второе
просто там есть возможность читать json(JsonConverter) , но записать ни во что другое он сам не сможет, так же ?
IS
просто текст пишешь. паркет и авро только если в кафке сообщения со схемой. Насколько помню, если попытаешься записывать без схемы, в логе будет что то типа для таких форматов не подходит shemaless сообщения
IS
Да, и если у тебя не авро и не паркет на выходе, ты не сможешь спользовать hive
OP
Там просто уже есть кафка - спарк, хотелось с кафки напрямую записывать в паркет на хдфс, если по схемам нужно заморачиваться, то и продюсер и спарк дописывать придется, плюс у коннектора сборка и запуск морочный, а конфлюент покупать надо.
IS
Там просто уже есть кафка - спарк, хотелось с кафки напрямую записывать в паркет на хдфс, если по схемам нужно заморачиваться, то и продюсер и спарк дописывать придется, плюс у коннектора сборка и запуск морочный, а конфлюент покупать надо.
Я бы не парился и использовал бы спарк. Мы попробовали hdfs коннектор. Много ограничений. Начиная от схемы, заканчивая тем, что по умолчанию он пишет каждый лог в отдельный файл
IS
Я бы не парился и использовал бы спарк. Мы попробовали hdfs коннектор. Много ограничений. Начиная от схемы, заканчивая тем, что по умолчанию он пишет каждый лог в отдельный файл
ПО поводу каждоголога в отдельный файл, можно поиграться параметром flush.size
IS
Там просто уже есть кафка - спарк, хотелось с кафки напрямую записывать в паркет на хдфс, если по схемам нужно заморачиваться, то и продюсер и спарк дописывать придется, плюс у коннектора сборка и запуск морочный, а конфлюент покупать надо.
Можно использовать kafka stream для конвертации. Коннектор сам по себе тупой
A
видели новость?
https://dotnet.microsoft.com/apps/data/spark
https://dotnet.microsoft.com/apps/data/spark
и видели, и пообщались с людьми из эпама кто спарк плотно в ажуру запихивают
говорят у них в венгрии уже пару проектов на этом поделий уже собрали-запустили
говорят у них в венгрии уже пару проектов на этом поделий уже собрали-запустили
OP
да так и сделаю) и схему задавать не надо). Просто коннектор со стороны кафки будет писать если спарк умрет, единственный плюс)
OP
Я бы не парился и использовал бы спарк. Мы попробовали hdfs коннектор. Много ограничений. Начиная от схемы, заканчивая тем, что по умолчанию он пишет каждый лог в отдельный файл
а лог это тут что? по файлу на каждую запись?
IS
Да
IS
а лог это тут что? по файлу на каждую запись?
Это по умолчанию такое поведение , вроде
IS
Нужно менять значение flush.size - в этом случае в файл будет записано такое количество записей, которое укажешь в данном параметре. Но есть нюанс. Допустим это значение 100000. Коннектор записал 50000. Ждет еще данные и, о чудо, падает. Считай, что эти данные (50000 типа записанных) ты потерял. Лечится параметром rotate.interval.ms - в данном случае данные будут коммитиься в интервалом, уазанном в этом параметре. Но файл будет закрываться и создаваться новый. Но: мы ж хотим, чтобы они были примерно одинакового размера в hdfs... Вот такого не получится
IS
Да, и чет там какие-то проблемы с этим коннектором в последнем реизе, так понимаю
IS
Все работает кроме Hadoop hdfs connector
IS
OP
это про 11 яву, нет?