К
Size: a a a
2020 April 04
И
лист аут оф индекс
AR
get() и так только первую возвращает, алоэ
AR
методами xpath выбрать первый элемент это, натурально, [1]
И
get() и так только первую возвращает, алоэ
отаноче, спасибо
RG
Вот такая ошибка вылезла KeyError: <weakref at 0x7f50a136f138; to 'method' at 0x7f50a0f960c8 (parse_item)> Кто в курсе, в чем может быть проблема?
AR
Что-то специфическое делаешь
RG
Что-то специфическое делаешь
да нет, очень простой парсер. Все эти глюки наблюдаю после переезда на хецнер облако. Походу буду менять на что-то другое. Но вот сейчас обновил openssl до версии 1.1.1 и пока подобных ошибок не наблюдаю
RG
Подскажите, есть ли готовые скрипты чтоб сделать свой отдельный ротатор проксей по типу как у Crawlera? Чтоб указывать в парсере только один адрес типа http://proxy.crawlera.com:8010 и при каждом запросе дергалась рандомная прокся. У меня есть список своих проксей, пробовал брать с файла и с базы, но вот удаленный ротатор это то что нужно, и очень удобно. Хотя бы посоветуйте в какую сторону копать?
R
Переслано от Михаил Синегубов
https://github.com/TeamHG-Memex/scrapy-rotating-proxies/blob/master/rotating_proxies/middlewares.py
строки
посмотри как тут логи прикручены. Он каждый 30 сек плюет INFO в лог
строки
посмотри как тут логи прикручены. Он каждый 30 сек плюет INFO в лог
iz
Подскажите, есть ли готовые скрипты чтоб сделать свой отдельный ротатор проксей по типу как у Crawlera? Чтоб указывать в парсере только один адрес типа http://proxy.crawlera.com:8010 и при каждом запросе дергалась рандомная прокся. У меня есть список своих проксей, пробовал брать с файла и с базы, но вот удаленный ротатор это то что нужно, и очень удобно. Хотя бы посоветуйте в какую сторону копать?
Что бы на вход была одна прокся тебе нужно понять все это
RG
В чем может быть причина такой ошибки [scrapy.core.downloader.handlers.http11] WARNING: Got data loss in https://site.com. If you want to process broken responses set the setting DOWNLOAD_FAIL_ON_DATALOSS = False -- This message won't be shown in further requests
Хотя урл при тестах нормально открывается
Хотя урл при тестах нормально открывается
AR
соединение оборвалось при передаче страницы