i
Size: a a a
2019 July 17
i
а тут кто-то вот на монге это сделал: https://blog.dipasquale.fr/en/2018/12/17/incremental-scraping-with-scrapy-and-mongo/
RV
а тут кто-то вот на монге это сделал: https://blog.dipasquale.fr/en/2018/12/17/incremental-scraping-with-scrapy-and-mongo/
Видел, но это какой-то совсем зеленый джун :)
Тащить без крайней нужды в паука работу с базой - за такое нужно от скрапи отлучать :)
Тащить без крайней нужды в паука работу с базой - за такое нужно от скрапи отлучать :)
i
мне просто скоро тоже предстоит, там правда аля CRM-систему, основанную на форуме, надо будет похоже селениумом малость доавтоматизировать, а то слишком много телодвижений вручную над ней у пользователей. И видится мне это как celery, который будет отслеживать задачки возникающие и автоматом "проводить" по ней.
RV
> а что лучше для вот этих работ и очередей - celery?
Celery тяжелый, но для сложных процессов - отлично заходит.
https://docs.celeryproject.org/en/latest/userguide/canvas.html#chains
Вот, например, можно текущий кейс завернуть в чейн тасков:
collect_product_urls -> calculate_delta -> fetch_products
Celery тяжелый, но для сложных процессов - отлично заходит.
https://docs.celeryproject.org/en/latest/userguide/canvas.html#chains
Вот, например, можно текущий кейс завернуть в чейн тасков:
collect_product_urls -> calculate_delta -> fetch_products
RV
Для простых бэкграундов джобов на питоне я бы смотрел в сторону https://dramatiq.io/
RV
Он гораздо проще, предсказуемее и современнее.
RV
да, конечно, можно
RV
Но Селери сам по себе достаточно навороченный, его нужно долго "курить"
RV
https://dramatiq.io/motivation.html
Создатель хорошо объясняет почему он запилил либу, в чем были проблемы с Селеры и таблица сравнения возможностей.
Создатель хорошо объясняет почему он запилил либу, в чем были проблемы с Селеры и таблица сравнения возможностей.
RV