RB
добавить бы еще сюда парсеры на компилируемых языках
Да я в итоге на го и переписал. Там 40 мс на страницу в среднем. Т.е. ещё +30%.
Size: a a a
2020 April 08
PS
Да я в итоге на го и переписал. Там 40 мс на страницу в среднем. Т.е. ещё +30%.
а на го какой парсер используется?
RB
а на го какой парсер используется?
Там их море. Я на github.com/antchfx/htmlquery написал, там XPath норм.
E
Да я в итоге на го и переписал. Там 40 мс на страницу в среднем. Т.е. ещё +30%.
Тяжело на go писать? Тяжело воспринимается его синтаксис
RB
Тяжело на go писать? Тяжело воспринимается его синтаксис
Я не сильно много на нём пишу. Пока только парсинг страниц, краулеры (с многопоточностью там получше в плане производительности), ну и работа с файловой системой. Сложностей особо не увидел.
RB
Ну по началу да, синтаксис не привычен.
ꟿ
как называются переменные с именем в программировании? слово забыл, что- то на м по моему
E
Благодарю за обратную связь, синтаксис и правда после node очень диким кажется
RB
как называются переменные с именем в программировании? слово забыл, что- то на м по моему
Так все переменные с именем. 👻
ꟿ
Так все переменные с именем. 👻
Не ну те что знаешь любят в Java и С# на индефикации через . оператор
K
Дороу
Кто-нибудь посоветует что юзать для текстового поиска/модификации в текстовых файлах?
Кто-нибудь посоветует что юзать для текстового поиска/модификации в текстовых файлах?
ꟿ
тип PoseType.DOGGY_STYLE
RB
Не ну те что знаешь любят в Java и С# на индефикации через . оператор
Ты про объекты и методы что ли?
RB
тип PoseType.DOGGY_STYLE
Объект и свойство.
ꟿ
Enum-ы, вспомнил, спасибо
RB
Enum-ы, вспомнил, спасибо
Ну да, на "м". 😂
I
в жизни не догадался бы, о чём речь 😂
AS
Кстати, насчёт "пары мс".
example.html:
cheerio:
> 325.10 ms
node-html-parser:
> 77.96 ms
273112 страниц * 313.73 мс = 85683427 мс = 1428 минут ~ 24 часа
273112 страниц * 62.32 мс = 17020339 мс = 283 минуты ~ 5 часов
example.html:
cheerio:
> 325.10 ms
node-html-parser:
> 77.96 ms
273112 страниц * 313.73 мс = 85683427 мс = 1428 минут ~ 24 часа
273112 страниц * 62.32 мс = 17020339 мс = 283 минуты ~ 5 часов
Здесь только какие то цифры с потолка, где код теста? ))
Ну и если понадобится обрабатывать такое количество страниц, явно будет больше одного процесса
Ну и если понадобится обрабатывать такое количество страниц, явно будет больше одного процесса
RB
Здесь только какие то цифры с потолка, где код теста? ))
Ну и если понадобится обрабатывать такое количество страниц, явно будет больше одного процесса
Ну и если понадобится обрабатывать такое количество страниц, явно будет больше одного процесса
Это просто извлечение ссылок на изображения с одной страницы. Там один селектор и один map. Если будем парраллелить то оба парсера, конечно же.
RB
Здесь только какие то цифры с потолка, где код теста? ))
Ну и если понадобится обрабатывать такое количество страниц, явно будет больше одного процесса
Ну и если понадобится обрабатывать такое количество страниц, явно будет больше одного процесса
const $ = cheerio.load(html);
const imgs = $(".player_avatar img").map((i, el) => {
return $(el).attr("src");
}).get();
console.log(`Found imgs: ${imgs.length}`);
Не думаю что тут можно что-то оптимизировать.