Телеграмм чат группы scrapy_python страница 1355

parrot.ru

Рейтинг популярных групп и каналов

В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

Scrapy

437 membersпожаловаться на группу

2020 April 07

i

ildar in Scrapy

понял, прошу прощения, тогда для этих целей связку scrapy + selenium использовать ?

читай там copy as curl в Reproducing requests, иногда можно посмотреть просто, что отправляется в запросе серваку, копируешь сначала из девтулзов copy as curl для bash и потом вставляешь для удобства в этот сервак - он тебе творит python-code: https://curl.trillworks.com/

Convert cURL command syntax to Python requests, Ansible URI, MATLAB, Node.js, R, PHP, Strest, Go, Dart, JSON, Elixir, and Rust code

Utility for converting curl commands to code

источник

14:09пожаловаться #1

i

ildar in Scrapy

path и так работает с fs, ему не нужна схема

там прикол в том, что под виндой без схемы как раз эта фигня не работает.

источник

14:10пожаловаться #2

i

ildar in Scrapy

ну может поменяли с тех пор, но емнип в доках даже приписка была что де если не юникс система без схемы не будет выводиться. и я об это даже граблей бился

источник

14:10пожаловаться #3

К

Кирилл in Scrapy

Для схемы urllib можно использовать

источник

14:10пожаловаться #4

🎱

читай там copy as curl в Reproducing requests, иногда можно посмотреть просто, что отправляется в запросе серваку, копируешь сначала из девтулзов copy as curl для bash и потом вставляешь для удобства в этот сервак - он тебе творит python-code: https://curl.trillworks.com/

Convert cURL command syntax to Python requests, Ansible URI, MATLAB, Node.js, R, PHP, Strest, Go, Dart, JSON, Elixir, and Rust code

Utility for converting curl commands to code

спасибо, полезно!

источник

14:10пожаловаться #5

i

ildar in Scrapy

вообще тут был FAQ от Булата в закрепленных чата, но куда-то он снесся похоже

источник

14:11пожаловаться #6

К

Кирилл in Scrapy

Оно есть, ты закрыл наверное

источник

14:11пожаловаться #7

iz

izzz zzi in Scrapy

Hooray! У нас открылся FAQ давайте его заполним лучшими практиками: https://github.com/bulatbulat48/ru-scrapy-python/blob/master/README.md

bulatbulat48/ru-scrapy-python

Scrapy: В этом репозитории находится полезная информация, собранная участниками telegram чата @scrapy_python - bulatbulat48/ru-scrapy-python

.

источник

14:12пожаловаться #8

i

ildar in Scrapy

да? ааа, хм а как интересно открыть его заново)

источник

14:12пожаловаться #9

i

ildar in Scrapy

Для схемы urllib можно использовать

не, таки ничо не поменялось: Note that for the local filesystem storage (only) you can omit the scheme if you specify an absolute path like /tmp/export.csv. This only works on Unix systems though.

источник

14:13пожаловаться #10

i

ildar in Scrapy

помню не чтение до-конца этой фразы "This only works on Unix systems though." стоило мне в свое время нескольких часов ^_^

источник

14:13пожаловаться #11

М

Мак in Scrapy

кто-нибудь сталкивался с таким вопросом, когда в пауке и scrapyRequest и splashRequest использовать надо, и при этом еще прокси-ротатор юзать?

источник

15:20пожаловаться #12

RG

Roman Gangal in Scrapy

Парни обьясните человеческим языком вот эту настройку scrapyd: finished_to_keep = 100

источник

15:43пожаловаться #13

🎱

читай там copy as curl в Reproducing requests, иногда можно посмотреть просто, что отправляется в запросе серваку, копируешь сначала из девтулзов copy as curl для bash и потом вставляешь для удобства в этот сервак - он тебе творит python-code: https://curl.trillworks.com/

Convert cURL command syntax to Python requests, Ansible URI, MATLAB, Node.js, R, PHP, Strest, Go, Dart, JSON, Elixir, and Rust code

Utility for converting curl commands to code

а чтобы в scrapy можно было сразу пост запросом отправить, FormRequest использовать?

источник

20:36пожаловаться #14

i

ildar in Scrapy

да, почитай еще про FormRequest.from_response() - по-идее оно само половину hidden-полей заполнит и всякие там VIEWSTATE, а тебе останется только подправить что-то

источник

20:37пожаловаться #15

К

Кирилл in Scrapy

Да, если formdata будет, автоматом пост поставит

источник

20:38пожаловаться #16

🎱

Спасибо)
а response потом можно будет в браузере посмотреть?

источник

20:39пожаловаться #17

🎱

в stackoverflow пишут, что нельзя

источник

20:39пожаловаться #18

AR

Andrey Rahmatullin in Scrapy

можно, почему нельзя

источник

20:47пожаловаться #19

AR

Andrey Rahmatullin in Scrapy

сохраняешь да смотришь, ну и вроде какой-то хелпер был для этого, не уверен

источник

20:47пожаловаться #20