RB
Селекторы куда удобнее, чем копаться в childnodes
Так там тоже есть селекторы.
Size: a a a
2020 April 08
B
Не поделитесь материалами для изучения?
ну стартануть можно с https://www.w3schools.com/xml/xpath_syntax.asp
Да и проще из браузера скопировать xpath до элемента и самому разобрать. Далее просто берете html, абсолютно на любом языке ищете как сделать из него dom object, и через xpath query вытаскиваете инфу.
Особенно удобно когда делаешь админку для нескольких парсеров, иногда человек может поправить правило без участия проггера
Да и проще из браузера скопировать xpath до элемента и самому разобрать. Далее просто берете html, абсолютно на любом языке ищете как сделать из него dom object, и через xpath query вытаскиваете инфу.
Особенно удобно когда делаешь админку для нескольких парсеров, иногда человек может поправить правило без участия проггера
AS
Так там тоже есть селекторы.
E
ну стартануть можно с https://www.w3schools.com/xml/xpath_syntax.asp
Да и проще из браузера скопировать xpath до элемента и самому разобрать. Далее просто берете html, абсолютно на любом языке ищете как сделать из него dom object, и через xpath query вытаскиваете инфу.
Особенно удобно когда делаешь админку для нескольких парсеров, иногда человек может поправить правило без участия проггера
Да и проще из браузера скопировать xpath до элемента и самому разобрать. Далее просто берете html, абсолютно на любом языке ищете как сделать из него dom object, и через xpath query вытаскиваете инфу.
Особенно удобно когда делаешь админку для нескольких парсеров, иногда человек может поправить правило без участия проггера
Благодарю 🙏
RB
Я вот немного изучил xpath и вертел я ваши библиотеки для парсинга)
XPath это круто. Но внутри такой же парсер будет. Он же не магическим образом данные извлекает.
RB
Не поделитесь материалами для изучения?
Вот ещё удобная cheatsheet - https://devhints.io/xpath.
E
Благодарю Вас
RB
Я вот немного изучил xpath и вертел я ваши библиотеки для парсинга)
Кстати, какую либу используешь?
И
я тут подумываю получить фото в base64 формате, из него сделать полноценный img файл, а потом его сжать и вернуть в base64 уже сжатым
и шо мешает ?
E
Кстати, какую либу используешь?
Если я правильно понимаю, cheerio тоже позволяет обращаться к xpath?
B
Кстати, какую либу используешь?
да просто xmldom и xpath если ты про ноду)
RB
не подскажете насколько это ужасно?
Картинки ты не сожмёшь, они (обычно) уже сжаты.
RB
Если я правильно понимаю, cheerio тоже позволяет обращаться к xpath?
Вроде нет. Я вообще под ноду не смог найти норм либу.
М
Картинки ты не сожмёшь, они (обычно) уже сжаты.
Хммммммммм, проверю ок. Спс
E
Вроде нет. Я вообще под ноду не смог найти норм либу.
Звучит грустно
RB
да просто xmldom и xpath если ты про ноду)
А невалидный HTML разбирает?
B
XPath это круто. Но внутри такой же парсер будет. Он же не магическим образом данные извлекает.
я не спорю, и даже возможно писал бы в ООП стиле что-то небольшое. Но там где нужна админка и возможность поменять правила проще работать с xpath
RB
А, она вообще в HTML не может похоже.
RB
Производительность не основной показатель парсера, не хочется терять удобство и читаемость ради пары милисекунд, которые теряются на фоне времени загрузки html
Кстати, насчёт "пары мс".
example.html:
cheerio:
> 325.10 ms
node-html-parser:
> 77.96 ms
273112 страниц * 313.73 мс = 85683427 мс = 1428 минут ~ 24 часа
273112 страниц * 62.32 мс = 17020339 мс = 283 минуты ~ 5 часов
example.html:
cheerio:
> 325.10 ms
node-html-parser:
> 77.96 ms
273112 страниц * 313.73 мс = 85683427 мс = 1428 минут ~ 24 часа
273112 страниц * 62.32 мс = 17020339 мс = 283 минуты ~ 5 часов
PS
Кстати, насчёт "пары мс".
example.html:
cheerio:
> 325.10 ms
node-html-parser:
> 77.96 ms
273112 страниц * 313.73 мс = 85683427 мс = 1428 минут ~ 24 часа
273112 страниц * 62.32 мс = 17020339 мс = 283 минуты ~ 5 часов
example.html:
cheerio:
> 325.10 ms
node-html-parser:
> 77.96 ms
273112 страниц * 313.73 мс = 85683427 мс = 1428 минут ~ 24 часа
273112 страниц * 62.32 мс = 17020339 мс = 283 минуты ~ 5 часов
добавить бы еще сюда парсеры на компилируемых языках