D
Всем доброго вечера! Помогите пожалуйста со сплешем (я уже задавал этот вопрос, но собрал немного больше информации)
Когда я запускают скрапинг , например, ресторанов в гугл карте, скрапи делает кучу SplashRequest запросов, виртуалка в докере не справляется и зависает. Ram показывает загруженность более 90%.
Если я ограничиваю количество запросов, то все ок.
В ситуации помогла отключение подгрузки изображения и увеличение памяти, но это только увеличило потолок запросов.
Еще я обратил внимание, что ram загруженна и после завершения работы паука. Если я не перезагружаю контейнер, второй запрос его тоже положит?
Как можно убить ненужные сессии ? Где копать? Может кешируется не удачно ?
Можешь еще попробовать selenium scrapy или puppeteer scrapy или как там его на гитхабе. У меня тоже был подобный сайт, тупо с одного запроса рам в стратосферу улетал а потом приходил oom. Ну я issues на гитхаб добавил с тем, как воспроизвести и логами, через год мне надоело за ним следить