Size: a a a

2020 April 07

i

ildar in Scrapy
🎱
понял, прошу прощения, тогда для этих целей связку scrapy + selenium использовать ?
читай там copy as curl в Reproducing requests, иногда можно посмотреть просто, что отправляется в запросе серваку, копируешь сначала из девтулзов copy as curl для bash и потом вставляешь для удобства в этот сервак - он тебе творит python-code: https://curl.trillworks.com/
источник

i

ildar in Scrapy
Кирилл
path и так работает с fs, ему не нужна схема
там прикол в том, что под виндой без схемы как раз эта фигня не работает.
источник

i

ildar in Scrapy
ну может поменяли с тех пор, но емнип в доках даже приписка была что де если не юникс система без схемы не будет выводиться. и я об это даже граблей бился
источник

К

Кирилл in Scrapy
Для схемы urllib можно использовать
источник

🎱

🎱 in Scrapy
ildar
читай там copy as curl в Reproducing requests, иногда можно посмотреть просто, что отправляется в запросе серваку, копируешь сначала из девтулзов copy as curl для bash и потом вставляешь для удобства в этот сервак - он тебе творит python-code: https://curl.trillworks.com/
спасибо, полезно!
источник

i

ildar in Scrapy
вообще тут был FAQ от Булата в закрепленных чата, но куда-то он снесся похоже
источник

К

Кирилл in Scrapy
Оно есть, ты закрыл наверное
источник

iz

izzz zzi in Scrapy
.
источник

i

ildar in Scrapy
да? ааа, хм а как интересно открыть его заново)
источник

i

ildar in Scrapy
Кирилл
Для схемы urllib можно использовать
не, таки ничо не поменялось: Note that for the local filesystem storage (only) you can omit the scheme if you specify an absolute path like /tmp/export.csv. This only works on Unix systems though.
источник

i

ildar in Scrapy
помню не чтение до-конца этой фразы "This only works on Unix systems though." стоило мне в свое время нескольких часов ^_^
источник

М

Мак in Scrapy
кто-нибудь сталкивался с таким вопросом, когда в пауке и scrapyRequest и splashRequest использовать надо, и при этом еще прокси-ротатор юзать?
источник

RG

Roman Gangal in Scrapy
Парни обьясните человеческим языком вот эту настройку scrapyd:  finished_to_keep = 100
источник

🎱

🎱 in Scrapy
ildar
читай там copy as curl в Reproducing requests, иногда можно посмотреть просто, что отправляется в запросе серваку, копируешь сначала из девтулзов copy as curl для bash и потом вставляешь для удобства в этот сервак - он тебе творит python-code: https://curl.trillworks.com/
а чтобы в scrapy  можно было сразу пост запросом отправить, FormRequest использовать?
источник

i

ildar in Scrapy
да, почитай еще про FormRequest.from_response() - по-идее оно само половину hidden-полей заполнит и всякие там VIEWSTATE, а тебе останется только подправить что-то
источник

К

Кирилл in Scrapy
Да, если formdata будет, автоматом пост поставит
источник

🎱

🎱 in Scrapy
Спасибо)
а response потом можно будет в браузере посмотреть?
источник

🎱

🎱 in Scrapy
в stackoverflow пишут, что нельзя
источник

AR

Andrey Rahmatullin in Scrapy
можно, почему нельзя
источник

AR

Andrey Rahmatullin in Scrapy
сохраняешь да смотришь, ну и вроде какой-то хелпер был для этого, не уверен
источник