Size: a a a

MODX. Русскоязычное сообщество.

2020 January 28

S

Sergey_K in MODX. Русскоязычное сообщество.
Pavel Zarubin
Только то, что он обходит их эмулируя браузер, а браузер сюрприз-сюрприз парсит именно по такому алгоритму как я описал
Погодь.
Что браузер, что бот тупо шлют GET запрос и все.
Парсят они уже на своей стороне, что делает ваш спор бессмысленным... ну, по логике.
источник

S

Sergey_K in MODX. Русскоязычное сообщество.
Как там парсить для экономии вопрос другой.
источник

S

Sergey_K in MODX. Русскоязычное сообщество.
Обход дерева стандартная матзадача.
источник

Е

Евгений in MODX. Русскоязычное сообщество.
ну зачем ты?
источник

S

Sergey_K in MODX. Русскоязычное сообщество.
Ну мне просто любопытно же
источник

EG

Evgeniy Gromin in MODX. Русскоязычное сообщество.
Sergey_K
Погодь.
Что браузер, что бот тупо шлют GET запрос и все.
Парсят они уже на своей стороне, что делает ваш спор бессмысленным... ну, по логике.
сначала краулер заходит, потом спайдер
источник

EG

Evgeniy Gromin in MODX. Русскоязычное сообщество.
краулер проверяет изменилась ли страница
источник

EG

Evgeniy Gromin in MODX. Русскоязычное сообщество.
спайдер качает ее
источник

EG

Evgeniy Gromin in MODX. Русскоязычное сообщество.
и кстати ему пох есть nav или нет
источник

EG

Evgeniy Gromin in MODX. Русскоязычное сообщество.
@orendat  есть что сказать или слился?
источник

S

Sergey_K in MODX. Русскоязычное сообщество.
Я к тому, что не скачав страницу нельзя ничего сказать
источник

S

Sergey_K in MODX. Русскоязычное сообщество.
Соотв она качается всегда
источник

PZ

Pavel Zarubin in MODX. Русскоязычное сообщество.
Evgeniy Gromin
@orendat  есть что сказать или слился?
Еще не слился, провожу тесты, если сольюсь я обязательно напишу, но опять же, я ничего не утверждаю, я лишь предполагаю основываясь на элементарной логике, что подчеркивал в споре не раз
источник

S

Sergey_K in MODX. Русскоязычное сообщество.
А как она парсится вопрос второй
источник

EG

Evgeniy Gromin in MODX. Русскоязычное сообщество.
Pavel Zarubin
Еще не слился, провожу тесты, если сольюсь я обязательно напишу, но опять же, я ничего не утверждаю, я лишь предполагаю основываясь на элементарной логике, что подчеркивал в споре не раз
их проведено много
источник

PZ

Pavel Zarubin in MODX. Русскоязычное сообщество.
Sergey_K
Я к тому, что не скачав страницу нельзя ничего сказать
Ты хочешь сказать что парсится она уже после? Как вариант кстати, возможно при обходе паук не парсит а просто скачивает, а парсингом занимается уже посредник
источник

PZ

Pavel Zarubin in MODX. Русскоязычное сообщество.
Я об этом к слову не подумал, но сейчас все равно тесты до конца доведу
источник

EG

Evgeniy Gromin in MODX. Русскоязычное сообщество.
Pavel Zarubin
Ты хочешь сказать что парсится она уже после? Как вариант кстати, возможно при обходе паук не парсит а просто скачивает, а парсингом занимается уже посредник
ты проведи свои тесты и скинь результат
источник

PZ

Pavel Zarubin in MODX. Русскоязычное сообщество.
Evgeniy Gromin
ты проведи свои тесты и скинь результат
да-да, сейчас)
источник

EG

Evgeniy Gromin in MODX. Русскоязычное сообщество.
Pavel Zarubin
да-да, сейчас)
он 0 будет скорее всего
источник