g
То есть для счастья не хватало промежуточного списка в
map всего лишь.Size: a a a
2020 December 17
g
Если тебе хочется написать это "perlish", то тоже можно, но это не производительно, лучше так не делать
А как производительнее? Хочется однострочник для парсинга логов и вывода только интересующих полей.
IB
А как производительнее? Хочется однострочник для парсинга логов и вывода только интересующих полей.
О какие объемах идет речь? Сколько терабайт логов?
g
Бывает 5–10 гигов.
IB
Бывает 5–10 гигов.
можно подумать парсить это не перлом, а консольным кликхаусом. можно в одну команду и залить данные во временный clickhouse и сделат из него выборку
SZ
можно подумать парсить это не перлом, а консольным кликхаусом. можно в одну команду и залить данные во временный clickhouse и сделат из него выборку
Думаешь, это будет быстрее?
g
Это нужно для дальнейшего пайпа куда-нибудь. И хочется переносимости. То есть вбил однострочник на любом хосте и готово.
SZ
По-моему, перл быстрее будет
IB
Думаешь, это будет быстрее?
у меня было значинтельно быстре кликхаусом
SZ
echo -e "a=b\tc=d\te\tg=\ti=j" | perl -lne '%F = map { ($k, $v) = split(/=/, $_, 2); } split(/\t/); print join("\t", @F{qw(a c e g i)});'Думаю, в таком контексте будет быстрее -0 и /(\S+)((?:=\S+)?)/gsm
g
По-моему, перл быстрее будет
Сравнивал варианты, в том числе с Python, и он оказался быстрее…
#!/usr/bin/env python3
import fileinput
f = ['a', 'c', 'e', 'g', 'i']
for s in fileinput.input():
F = dict(tuple([x.split('=', 1) for x in s.strip().split('\t')]))
print('\t'.join([F[x] for x in f]))
SZ
у меня было значинтельно быстре кликхаусом
Всё зависит от задачи. Тебе, вероятно, нужны были выборки
g
Сравнивал варианты, в том числе с Python, и он оказался быстрее…
#!/usr/bin/env python3
import fileinput
f = ['a', 'c', 'e', 'g', 'i']
for s in fileinput.input():
F = dict(tuple([x.split('=', 1) for x in s.strip().split('\t')]))
print('\t'.join([F[x] for x in f]))
Но такое не потаскаешь.
SZ
Сравнивал варианты, в том числе с Python, и он оказался быстрее…
#!/usr/bin/env python3
import fileinput
f = ['a', 'c', 'e', 'g', 'i']
for s in fileinput.input():
F = dict(tuple([x.split('=', 1) for x in s.strip().split('\t')]))
print('\t'.join([F[x] for x in f]))
На каком объеме данных ты их сравнивал?
g
На каком объеме данных ты их сравнивал?
На примерно 5 гигах Perl 47 c, Python 38 с.
g
Вот и не могу понять, откуда такая разница, где тормозит.
SZ
fileinput.input это чё?
SZ
Строка?
g
Это аналог
while (<>) {}SZ
Это аналог
while (<>) {}Можешь показать конкретный код для обоих вариантов?