У спайдермона другие задачи

А как ты его используешь?

Как тесты

по поводу логера — если критичное что-то, советую добавить еще один логер, в который слать ошибки, если телеграм сломался..

на почту например

Ок, Спасибо за пояснения

ну я к тому, что ключ поменяется, апи поменяется, или канал удалишь и подобное….а будешь думать что все работает нормально

Ну да верно, хотя все равно думаю в централизованное хранение логов из систем и мониторинг серверов, а то плащадка растет, спайдеры растут уже тяжело становится

при использовании SplashRequest, при настройке dont_filter=True, параметры повторного запроса (в том числе и метаданные, почему то) судя по всему берутся кешированные. Как можно это дело настроить? мне необходимо чтоб именно мета передавалась разная...

Добрый день, уважаемые Доны!
Я хотел бы услышать от вас совет. Начал изучать скрапи пару недель назад. Опыта в it практически не было, но на сейчас на самом базовом уровне небольшие успехи есть: могу соскрапить, например, промюа и передать данные в mysql. Последний рубеж proxy и рендеринг js, но думаю это вопрос времени.

Вопрос собственно: а смогу ли я на этом заработать? Может быть это источник дохода? Или это только работа для индусов за 20$ за проект ?

Можно что-то заработать. Но скорее всего, ближайшее время будет мало заказов

Куча людей рынулась в онлайн, будет демпинг. И в принципе малый бизнес не сильно будет тратиться

Понятно, спасибо :)

А а чем сейчас можно зарабатывать?

Тем чем умеешь... на низкоквалифицированных работах везде будет наплыв

В плане айти?

да и на других, кризис, что тут сказать

Что лучшее всего умеешь, тем и зарабатывай

Арбитраж трафика

Столкнулся с такой ситуацией что Scrapy в конце работы не выводит общую статистику по логу. Вернее иногда выводит, а иногда просто обрывается без  записи в лог.  Я просто этот сайт регулярно паршу, и знаю примерно на скольки реквестах и за какое время он будет спаршен. И вот именно в самом конце работы идет этот обрыв. Может в самом конце Scrapy нужно больше оперативки чтоб чекнуть ввесь лог и вывести общий отчет? И когда наступает этот пик с выводом отчета, скрипт из-за нехватки оперативки тупо падает. Может быть такой вариант?