Size: a a a

2020 November 25

МС

Михаил Синегубов... in Scrapy
я им смотрю.  Но смог его настроить только под убунтой
источник

AR

Andrey Rahmatullin in Scrapy
Artemiy Artemiy
import requests

headers = {
   'Connection': 'keep-alive',
   'Content-Length': '67278',
   'Cache-Control': 'max-age=0',
   'Upgrade-Insecure-Requests': '1',
   'Origin': 'https://voyant-tools.org',
   'Content-Type': 'multipart/form-data; boundary=----WebKitFormBoundarylLEy1IUOhp7h4sfQ',
   'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.66 Safari/537.36',
   'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9',
   'Sec-Fetch-Site': 'same-origin',
   'Sec-Fetch-Mode': 'navigate',
   'Sec-Fetch-User': '?1',
   'Sec-Fetch-Dest': 'iframe',
   'Referer': 'https://voyant-tools.org/',
   'Accept-Language': 'ru-RU,ru;q=0.9,en-US;q=0.8,en;q=0.7,en-GB;q=0.6',
}

files = {'file': open('1.json', 'rb')}
r = requests.post('http://voyant-tools.org/trombone', files=files, headers=headers)
print(r.status_code)
print(r.text)
не надо вручную указывать все хедеры какие нашёл
источник

AR

Andrey Rahmatullin in Scrapy
особенно Content-Length
источник

AR

Andrey Rahmatullin in Scrapy
boundary тоже зря, ага
источник

AA

Artemiy Artemiy in Scrapy
Andrey Rahmatullin
boundary тоже зря, ага
спасибо. Поубирал их.
Вот такое тело запроса отправляется. Как я могу его воспроизвести с помощью requests?
источник

AR

Andrey Rahmatullin in Scrapy
почитать как в реквестс аплоадить файлы
источник

b

blessed in Scrapy
Добрый день

Хочу капчу победить на https://rosreestr.gov.ru/wps/portal/online_request

Если открыть url капчи, то там вот это (скрин).

Что это? Про что прочитать, чтобы решить ?
источник

AR

Andrey Rahmatullin in Scrapy
это пнг, там в первой же строчке написано
источник

AR

Andrey Rahmatullin in Scrapy
🤦‍♂️
источник

b

blessed in Scrapy
Andrey Rahmatullin
это пнг, там в первой же строчке написано
Действительно. Спасибо
источник

S

SoHard 🎄 in Scrapy
как нынче парсят амазон? а то вижу на apify хедлесс файрокс
источник

AR

Andrey Rahmatullin in Scrapy
берёшь да парсишь
источник

OS

Oleg Shleiko in Scrapy
Всем привет, подскажите пожалуйста, вот есть папка spiders, в ней файл паука. А можно как-то добавить второго паука и как-то между ними переключаться, т.е. при необходимости вместо первого запускать второй??
источник

МС

Михаил Синегубов... in Scrapy
1. Скопировать паука, изменить имя и имя класса
2. scrapy genspuder

След. раз получишь по репе за не желание думать мозгом
источник

S

SoHard 🎄 in Scrapy
Михаил Синегубов
1. Скопировать паука, изменить имя и имя класса
2. scrapy genspuder

След. раз получишь по репе за не желание думать мозгом
имя класса даже не обязательно)
источник

МС

Михаил Синегубов... in Scrapy
SoHard 🎄
имя класса даже не обязательно)
ну, я про "по феншую" говорил, все же, его желательно менять
источник

S

SoHard 🎄 in Scrapy
это да
источник

S

SoHard 🎄 in Scrapy
кстати, спасибо всем что отучили меня от bs, если бы не скрапи я бы так и парсил этим... сейчас надо кучу маленьких парсеров подправить на бс и это боль
источник

OS

Oleg Shleiko in Scrapy
ребят, сорян, сидел тупил, реально в доке есть genspider и норм всё работает, спасибо
источник
2020 November 26

ТН

Тони Нони in Scrapy
SoHard 🎄
кстати, спасибо всем что отучили меня от bs, если бы не скрапи я бы так и парсил этим... сейчас надо кучу маленьких парсеров подправить на бс и это боль
а что плохого в бсе?
источник