AR
а так, если про логику говорить, что чистейший вариант - scrapy-inlne-requests и цикл.
Size: a a a
2020 November 28
2020 November 29
AR
Тоже про движения мышки подумал
AR
што
AL
Гуру Scrapy, подскажите, плиз, pipeline работает в том же процессе (thread), что и spider?
...зачем мне это - у меня часть логики извлечения данных лежит в parse и, нагружает процессор ...пока отрабатывает логика, робот немного простаивает (twisted хоть и асинхронный, но все же не multi-thread, как я понимаю).
Я пытаюсь понять, спасет меня pipeline или лучше тяжелую обработку вообще вырести за пределы scrapy (и от скрапи лишь обход, ссылки и сохранение загруженных страниц, для последующей обработки снаружи)?
...зачем мне это - у меня часть логики извлечения данных лежит в parse и, нагружает процессор ...пока отрабатывает логика, робот немного простаивает (twisted хоть и асинхронный, но все же не multi-thread, как я понимаю).
Я пытаюсь понять, спасет меня pipeline или лучше тяжелую обработку вообще вырести за пределы scrapy (и от скрапи лишь обход, ссылки и сохранение загруженных страниц, для последующей обработки снаружи)?
К
Гуру Scrapy, подскажите, плиз, pipeline работает в том же процессе (thread), что и spider?
...зачем мне это - у меня часть логики извлечения данных лежит в parse и, нагружает процессор ...пока отрабатывает логика, робот немного простаивает (twisted хоть и асинхронный, но все же не multi-thread, как я понимаю).
Я пытаюсь понять, спасет меня pipeline или лучше тяжелую обработку вообще вырести за пределы scrapy (и от скрапи лишь обход, ссылки и сохранение загруженных страниц, для последующей обработки снаружи)?
...зачем мне это - у меня часть логики извлечения данных лежит в parse и, нагружает процессор ...пока отрабатывает логика, робот немного простаивает (twisted хоть и асинхронный, но все же не multi-thread, как я понимаю).
Я пытаюсь понять, спасет меня pipeline или лучше тяжелую обработку вообще вырести за пределы scrapy (и от скрапи лишь обход, ссылки и сохранение загруженных страниц, для последующей обработки снаружи)?
В том же
К
Гуру Scrapy, подскажите, плиз, pipeline работает в том же процессе (thread), что и spider?
...зачем мне это - у меня часть логики извлечения данных лежит в parse и, нагружает процессор ...пока отрабатывает логика, робот немного простаивает (twisted хоть и асинхронный, но все же не multi-thread, как я понимаю).
Я пытаюсь понять, спасет меня pipeline или лучше тяжелую обработку вообще вырести за пределы scrapy (и от скрапи лишь обход, ссылки и сохранение загруженных страниц, для последующей обработки снаружи)?
...зачем мне это - у меня часть логики извлечения данных лежит в parse и, нагружает процессор ...пока отрабатывает логика, робот немного простаивает (twisted хоть и асинхронный, но все же не multi-thread, как я понимаю).
Я пытаюсь понять, спасет меня pipeline или лучше тяжелую обработку вообще вырести за пределы scrapy (и от скрапи лишь обход, ссылки и сохранение загруженных страниц, для последующей обработки снаружи)?
Если там прям что-то супер тяжелое, то лучше вынести за скрапи. Если хочешь треды можешь взять что-то типа
twisted.internet.threads.deferToThread()AR
Гуру Scrapy, подскажите, плиз, pipeline работает в том же процессе (thread), что и spider?
...зачем мне это - у меня часть логики извлечения данных лежит в parse и, нагружает процессор ...пока отрабатывает логика, робот немного простаивает (twisted хоть и асинхронный, но все же не multi-thread, как я понимаю).
Я пытаюсь понять, спасет меня pipeline или лучше тяжелую обработку вообще вырести за пределы scrapy (и от скрапи лишь обход, ссылки и сохранение загруженных страниц, для последующей обработки снаружи)?
...зачем мне это - у меня часть логики извлечения данных лежит в parse и, нагружает процессор ...пока отрабатывает логика, робот немного простаивает (twisted хоть и асинхронный, но все же не multi-thread, как я понимаю).
Я пытаюсь понять, спасет меня pipeline или лучше тяжелую обработку вообще вырести за пределы scrapy (и от скрапи лишь обход, ссылки и сохранение загруженных страниц, для последующей обработки снаружи)?
deferToThread
AR
А, уже написали
AR
А что там за тяжёлая обработка, на чём сделано?
AL
deferToThread - о, круто) спасибо!!
AR
И его в пайплайне юзать удобнее чем в колбэке
AL
А что там за тяжёлая обработка, на чём сделано?
lxml и "прогулки" по dom-дереву в поисках нужных данных)
AR
Нууу хз
AR
Но если прям заметно тормозит то ок