Size: a a a

2019 July 02

M

Mohamad in Scrapy
Алексей Нагорский
download_delay звучит не как download_timeout честно говоря, это точно то, что нужно?
Да
источник

M

Mohamad in Scrapy
serhii
Там ведь в документации написано, что доунлауд делай не постоянное значение. А плюс минус единица, чтобы подозрений меньше парсер вызывал
я спутал
источник

M

Mohamad in Scrapy
{'handle_httpstatus_all': True, 'donwload_timeout': 5.0, 'dont_redirect': True}
Вот такая мета у меня
источник

s

serhii in Scrapy
Mohamad
я спутал
Все ок. Для этого чат и существует
источник

M

Mohamad in Scrapy
serhii
Все ок. Для этого чат и существует
НО все равно он ждет эти 6 сек когда у меня таймаут 5
источник

АН

Алексей Нагорский in Scrapy
donwload_timeout
источник

АН

Алексей Нагорский in Scrapy
do`w`nload
do`n`wload
источник

АН

Алексей Нагорский in Scrapy
Мб дело в этом, сам то я не вкурсе..
источник

M

Mohamad in Scrapy
а лол
источник

M

Mohamad in Scrapy
да
источник

M

Mohamad in Scrapy
хахахахахаа
источник

M

Mohamad in Scrapy
спасибо)
источник

i

ildar in Scrapy
Ivan
items['price'] = price
print(price) - здесь так - 8 899
print(items) - но здесь уже такой вариант 8\xa0899
проблема не в этом, а в том, что там на сайте малость нестандартный пробел используется, тебе надо просто сделать price = price.replace(u'\xa', '')
источник

i

ildar in Scrapy
и кстати, чтоб 2 раза  с полки не вставать, емнип в 3м питоне, когда ты кодируешь в json - по-сути тебе глубоко пофигу на его кодировку, т.к. по-правильному он когда кодируется не выползает из первых 127 бит, кодируя все, что выше несколькими символами,  т.е. ты json можешь хоть в utf8, хоть в обычной ascii сохранять
источник

I

Ivan in Scrapy
кто-то пользовалься splash?
источник

I

Ivan in Scrapy
ildar
и кстати, чтоб 2 раза  с полки не вставать, емнип в 3м питоне, когда ты кодируешь в json - по-сути тебе глубоко пофигу на его кодировку, т.к. по-правильному он когда кодируется не выползает из первых 127 бит, кодируя все, что выше несколькими символами,  т.е. ты json можешь хоть в utf8, хоть в обычной ascii сохранять
понял, спасибо
источник

I

Ivan in Scrapy
весь день splash  сейчас выдает такое
источник

I

Ivan in Scrapy
источник

I

Ivan in Scrapy
кто-то сталкивался с таким?
источник

i

ildar in Scrapy
Ты про srgb и dbus? Он всегда про это плачет
источник