AR
https://pypi.org/project/newspaper3k/
https://pypi.org/project/boilerpy3/
что-то сомневаюсь что в этих либах юзается ml
https://pypi.org/project/boilerpy3/
что-то сомневаюсь что в этих либах юзается ml
Size: a a a
2020 April 18
AR
В первом
AR
Дальше неинтересно смотреть
AR
хз ваще
Учи питон
i
навскидку shortstorytitle не переменная и без кавычек, потом какой-то items откуда-то приехал. и еще в get(href) - href опять похоже без кавычек
💵
Здравствуйте
🎅B
Здравствуйте
Привет
D
Всем доброго вечера! Помогите пожалуйста со сплешем (я уже задавал этот вопрос, но собрал немного больше информации)
Когда я запускают скрапинг , например, ресторанов в гугл карте, скрапи делает кучу SplashRequest запросов, виртуалка в докере не справляется и зависает. Ram показывает загруженность более 90%.
Если я ограничиваю количество запросов, то все ок.
В ситуации помогла отключение подгрузки изображения и увеличение памяти, но это только увеличило потолок запросов.
Еще я обратил внимание, что ram загруженна и после завершения работы паука. Если я не перезагружаю контейнер, второй запрос его тоже положит?
Как можно убить ненужные сессии ? Где копать? Может кешируется не удачно ?
Когда я запускают скрапинг , например, ресторанов в гугл карте, скрапи делает кучу SplashRequest запросов, виртуалка в докере не справляется и зависает. Ram показывает загруженность более 90%.
Если я ограничиваю количество запросов, то все ок.
В ситуации помогла отключение подгрузки изображения и увеличение памяти, но это только увеличило потолок запросов.
Еще я обратил внимание, что ram загруженна и после завершения работы паука. Если я не перезагружаю контейнер, второй запрос его тоже положит?
Как можно убить ненужные сессии ? Где копать? Может кешируется не удачно ?
D
Спасибо, посмотрю !
A
А гугл апи под такое не сделал?
i
D
Всем доброго вечера! Помогите пожалуйста со сплешем (я уже задавал этот вопрос, но собрал немного больше информации)
Когда я запускают скрапинг , например, ресторанов в гугл карте, скрапи делает кучу SplashRequest запросов, виртуалка в докере не справляется и зависает. Ram показывает загруженность более 90%.
Если я ограничиваю количество запросов, то все ок.
В ситуации помогла отключение подгрузки изображения и увеличение памяти, но это только увеличило потолок запросов.
Еще я обратил внимание, что ram загруженна и после завершения работы паука. Если я не перезагружаю контейнер, второй запрос его тоже положит?
Как можно убить ненужные сессии ? Где копать? Может кешируется не удачно ?
Когда я запускают скрапинг , например, ресторанов в гугл карте, скрапи делает кучу SplashRequest запросов, виртуалка в докере не справляется и зависает. Ram показывает загруженность более 90%.
Если я ограничиваю количество запросов, то все ок.
В ситуации помогла отключение подгрузки изображения и увеличение памяти, но это только увеличило потолок запросов.
Еще я обратил внимание, что ram загруженна и после завершения работы паука. Если я не перезагружаю контейнер, второй запрос его тоже положит?
Как можно убить ненужные сессии ? Где копать? Может кешируется не удачно ?
Можешь еще попробовать selenium scrapy или puppeteer scrapy или как там его на гитхабе. У меня тоже был подобный сайт, тупо с одного запроса рам в стратосферу улетал а потом приходил oom. Ну я issues на гитхаб добавил с тем, как воспроизвести и логами, через год мне надоело за ним следить
i
Ха, я помню там рядом был про wired.com - висит родимый) https://github.com/scrapinghub/splash/issues/891
2020 April 19
O
пишу парсер мвидео, столкнулся с проблемой
страница динамическая
данные которые мне нудны приходят через запрос rest/graphql, как могу до него добраться?)
страница динамическая
данные которые мне нудны приходят через запрос rest/graphql, как могу до него добраться?)