AR
итемы не все запишутся например
Size: a a a
2021 June 03
AR
хотя если к тому времени раннер отдал управление то всё должно быть ок
MZ
Всё, теперь и логи работают. Сейчас yield пропишу и будет всё ок. Спасибо)
A
Hello, как лучше сохранять raw страниц ? response.text? response.body?
AR
смотря что хочется получить
AR
body это сырые байты от сервера, text это юникод
AR
наверно лучше text сохранять
A
☝️💪
SS
Кто пользуется scrapy-rotating-proxies, подскажите. Как полностью убрать проверку прокси и таймаут?
Или подскажите прокси ротатор, который не будет проверять прокси навалидность, таймауты делать и другую фигню. А будет просто перебирать их и использовать пока не получит данные.
Или подскажите прокси ротатор, который не будет проверять прокси навалидность, таймауты делать и другую фигню. А будет просто перебирать их и использовать пока не получит данные.
МС
если по русски "не пытаться вернуть плохой прокси в валидные" ?
SS
если по русски, то не пытаться их сортировать на валидные или нет. Не исключать «плохие», и так далее
МС
а что с плохими делать?
SS
да ничего. Просто пробовать другой прокси из списка. У меня мобильные прокси которые сами ротируются
МС
то что мобильные сами ротируются, там же, просо отдается один входной адрес, а прокси в "черном ящике" крутятся
МС
может просто нужна хренова куча попыток?
SS
ато один ротатор проверяет их с таймаутами дикими. Другой убирвет из списка если не получил данные. А нужен самый простой.
SS
Да нужна, но без вот этой всей самодеятельности