AZ
если одноразово - перл, он умеет многосимвольные сепараторы для всего :)
Size: a a a
2019 October 04
AZ
echo 'some#@#@#strange#@#@#separators' | perl -lne 'BEGIN{$/="#@#@#"} print "$. $_"'
АЖ
echo 'some#@#@#strange#@#@#separators' | perl -lne 'BEGIN{$/="#@#@#"} print "$. $_"'
echo 'some#@#@#strange#@#@#separators' | perl -lne 'BEGIN{$/="#@#@#"} print "$. $_"'
AZ
да не благодарите
VP
Можете объяснить заклинание?
AZ
Можете объяснить заклинание?
блок BEGIN исполняется вначала ванлайнера, и я там переопределяю переменную которая отвечает за разделитель строк, а дальше печатаю $. - это номер строки, и $_ - это вся строка
AZ
-F отвечает за разделитель колонок, ну в общем гуглите и все найдете
VP
Спасибо!
AZ
(видимо знание перла уже приравнивается к знанию кобола)
UD
(видимо знание перла уже приравнивается к знанию кобола)
Да и к прочему колдовству
AZ
Спасибо!
вот вам полный пример, я сегодня добрый:
AZ
echo '1~some#@#@#2~strange#@#@#3~separators' | perl -F'~' -lane 'BEGIN{$/="#@#@#"} print join ",", @F'
AZ
как видно - ничего сложного
R
(видимо знание перла уже приравнивается к знанию кобола)
К этому стремится. Но знаю о проекте, где была легаси аналитика на perl, написанная ещё в мохнатые годы. И чуваки это переносили на map reduce в hadoop. Вы наверное подумаете и что в этом такого.
Но вот только переносилось это теми же perl скриптами через hadoop streaming.
Но вот только переносилось это теми же perl скриптами через hadoop streaming.
AZ
К этому стремится. Но знаю о проекте, где была легаси аналитика на perl, написанная ещё в мохнатые годы. И чуваки это переносили на map reduce в hadoop. Вы наверное подумаете и что в этом такого.
Но вот только переносилось это теми же perl скриптами через hadoop streaming.
Но вот только переносилось это теми же perl скриптами через hadoop streaming.
я что-то про такое слышал 🙄
VP
как видно - ничего сложного
Спасибо большое, все заработало!
AZ
Спасибо большое, все заработало!
ну вот, а вы pyspark хотели 🙂
A
К этому стремится. Но знаю о проекте, где была легаси аналитика на perl, написанная ещё в мохнатые годы. И чуваки это переносили на map reduce в hadoop. Вы наверное подумаете и что в этом такого.
Но вот только переносилось это теми же perl скриптами через hadoop streaming.
Но вот только переносилось это теми же perl скриптами через hadoop streaming.
ну и? =)
логи с вебсервера + ragel + hive (select TRANSFORM ... using 'ragel_binari -params')
и всё работало отлично =) быстрее чем парсить логи в java коде
http://www.colm.net/open-source/ragel/
логи с вебсервера + ragel + hive (select TRANSFORM ... using 'ragel_binari -params')
и всё работало отлично =) быстрее чем парсить логи в java коде
http://www.colm.net/open-source/ragel/
A
внутри он тот же хадуп стриминг и использовал