n
lxml должно подойти, если тебе просто с сохраненной хтмл или с сайта напрямки нужно пройти полностью страницу и выдернуть все урлы.
Size: a a a
2020 September 07
СС
Чтоб уж совсем облегчить задачу)))) чем можно спарсить все урлы? Scrapy подойдёт?
в смысле спарсить все урлы?
СС
которые клиент делает или вообще которые есть у сервера?
IS
Мне кажется, легче пойти к раз рабам с таким вопросом
BK
которые клиент делает или вообще которые есть у сервера?
Которые на клиенте
BK
Загнать их в один док и потом гонять просто на проверку статус кода и иногда по новой парсить, вдруг чето добавиться.
В основом проблема такая шо иногда добавляется новое Поле в бд и видимо проебуются делатся миграции и на веб морде иногда можно схватить экспешон
В основом проблема такая шо иногда добавляется новое Поле в бд и видимо проебуются делатся миграции и на веб морде иногда можно схватить экспешон
BK
Поэтому решение было проходить на всякие случай по всем урлам и проверять что возвращает 200ю
M
WebDriverWait(self._driver, timeout).until(|
ex_cond.visibility_of_element_located(locator), ' : '.join(locator))
Уважаемые! Подскажите, пожалуйста, зачем тут join и что он делает?
СС
так ты проверь что делает джоин списка на строку)
S
2020 September 08
IS
Поэтому решение было проходить на всякие случай по всем урлам и проверять что возвращает 200ю
а не лучше ли взять любой мониторинг тул с хартбитом? Нахуя велосипеды сомнительные городить?
AM
Загнать их в один док и потом гонять просто на проверку статус кода и иногда по новой парсить, вдруг чето добавиться.
В основом проблема такая шо иногда добавляется новое Поле в бд и видимо проебуются делатся миграции и на веб морде иногда можно схватить экспешон
В основом проблема такая шо иногда добавляется новое Поле в бд и видимо проебуются делатся миграции и на веб морде иногда можно схватить экспешон
потому что при миграциях, обновляемый узел отключается и заменяется другим
AM
а не лучше ли взять любой мониторинг тул с хартбитом? Нахуя велосипеды сомнительные городить?
они *утые, не девопсы, короче
BK
а не лучше ли взять любой мониторинг тул с хартбитом? Нахуя велосипеды сомнительные городить?
А можете тул посоветовать?
S
prometheus + grafana?
IS
Sergei
prometheus + grafana?
+
BK
Сори за дурацкие вопросы)
читаю про эту штуку, я так понял она больше подходит для микросервисов?
У нас же монолит) + я не совсем могу понять как это поможет решить мою проблему?
читаю про эту штуку, я так понял она больше подходит для микросервисов?
У нас же монолит) + я не совсем могу понять как это поможет решить мою проблему?
IS
Какая разница микросервис или монолит
S
))
BK
Нууу значит остаётся только 2й вопрос))))