Всем привет, знаю что вопрос не по js, но если кто то сможет помочь буду благодарен.
——————
На сайте есть список продуктов. Я понял, как получить все необходимые данные, используя Python Requests для HTTP-запроса, а затем BeautifulSoup для извлечения данных из HTML.
Проблема: когда Requests получает ответ с сайта, данные намного старше (иногда до 30 или 40 минут, по крайней мере), чем данные на реальном сайте. То есть я получаю html в котором 110 товаров, но если зайти напрямую по ссылке на сайт - их там уже 113.
Я думаю, что веб-сервер отправляет устаревшие данные но для Google Chrome (или другому браузеру) правильные данные.
Посмотрел запрос, похоже что сервер получает запрос в нужное время, но предоставляет данные, которые не были изменены в течение некоторого времени.
Мой вопрос: Знаете ли вы какую-нибудь причину, по которой это может произойти? Есть ли что-то, что я должен добавить в мой HTTP запрос, что заставит сервер отправлять мне данные в соответствии с тем, что отправляют веб-браузеры?