Size: a a a

2020 February 19

AR

Andrey Rahmatullin in Scrapy
:-/
источник

VB

Vladyslav Babych in Scrapy
Нет предположений?
источник

AR

Andrey Rahmatullin in Scrapy
не
источник

М

Мак in Scrapy
сплеш не самая мощная штука все таки, но гораздо быстрее селениума
источник

AS

Alexander Serebrov in Scrapy
Vladyslav Babych
'''
                   function main(splash, args)
                       local num_scrolls = 10
                       local scroll_delay = 20.0
               
                       local scroll_to = splash:jsfunc("window.scrollTo")
                       local get_body_height = splash:jsfunc(
                           "function() {return document.body.scrollHeight;}"
                       )
                       assert(splash:go(splash.args.url))
                       splash:wait(splash.args.wait)
               
                       for _ = 1, num_scrolls do
                           splash:wait(30.0)
                           scroll_to(0, get_body_height())
                       end
                       splash:wait(100.5)
                       scroll_to(0, get_body_height())
                       return {
                           html = splash:html(),
                       }
                   end
                '''
Можно попробовать без assert вокруг splash.go, иногда помогает 😅
источник

AB

Alexander B in Scrapy
народ, как быстрее всего обойти 100500 ссылок без какого то постпроцессинга? можно выкрутить сеттинги scrapy? или aiohttp? или ? по дефалту скрепи чет не очень быстро ходит
источник

AR

Andrey Rahmatullin in Scrapy
обойти и что дальше?
источник

AB

Alexander B in Scrapy
ничего
источник

AB

Alexander B in Scrapy
только сделать запрос) не ddos если что))
источник

AB

Alexander B in Scrapy
CONCURRENT_REQUESTS крутить?
источник

AR

Andrey Rahmatullin in Scrapy
если узкое место - сервер, то ничего не крутить
источник

AR

Andrey Rahmatullin in Scrapy
а если сервера разные то https://docs.scrapy.org/en/latest/topics/broad-crawls.html
источник

AB

Alexander B in Scrapy
A good starting point is 100 .. ок попробую
источник

AB

Alexander B in Scrapy
ну чет в 100 раз быстрее не стало
источник

AB

Alexander B in Scrapy
по цпу не упираюсь
источник

МС

Михаил Синегубов in Scrapy
Alexander B
по цпу не упираюсь
а в возможности сайта?
ссылки с одного сайта или с 100500 сайтов?
так то, то что я видел сам, скорость от 75 до 4000 запросов в минуту. Причем, нижняя граница это точно не цпу....
источник

AB

Alexander B in Scrapy
ну это может быть, сайт один..
источник

AR

Andrey Rahmatullin in Scrapy
я ж выше написал
источник

МС

Михаил Синегубов in Scrapy
сейчас скорость какая?
источник

AB

Alexander B in Scrapy
Andrey Rahmatullin
я ж выше написал
я думал ты про мой сервер))
источник