Size: a a a

2020 November 25

МС

Михаил Синегубов... in Scrapy
Илья
"правильно" наверно вот так даже
не научишься, некоторые косяки вылезут если начнешь гонять туда/сюда десятки тысяч записей
источник

И

Илья in Scrapy
Михаил Синегубов
не научишься, некоторые косяки вылезут если начнешь гонять туда/сюда десятки тысяч записей
предложения ?
источник

МС

Михаил Синегубов... in Scrapy
Илья
предложения ?
решать проблемы по мере возникновения :)
источник

И

Илья in Scrapy
Тоже верно :)
источник

A

Andrii in Scrapy
источник

A

Andrii in Scrapy
Может кто подскажет как достать картинку капчи? (или как ее пройти) http://www0.rio.rj.gov.br/multas/
источник

МС

Михаил Синегубов... in Scrapy
Andrii
Может кто подскажет как достать картинку капчи? (или как ее пройти) http://www0.rio.rj.gov.br/multas/
адрес + куки?
руками + реквестом пробовал?
источник

A

Andrii in Scrapy
Михаил Синегубов
адрес + куки?
руками + реквестом пробовал?
ага, хтмл отдает назад, а не картинку
источник

МС

Михаил Синегубов... in Scrapy
<p>Este site utiliza <i>frames</i> (molduras), n&atilde;o suportados pelo seu navegador.</p>
<p>Recomendamos que utilize um browser mais novo como o <a href="http://www.microsoft.com">
Internet Explorer </a>ou <a href="http.netscape.com"> Netscape Navigator</a></p>


этот текст?
источник

A

Andrii in Scrapy
Михаил Синегубов
<p>Este site utiliza <i>frames</i> (molduras), n&atilde;o suportados pelo seu navegador.</p>
<p>Recomendamos que utilize um browser mais novo como o <a href="http://www.microsoft.com">
Internet Explorer </a>ou <a href="http.netscape.com"> Netscape Navigator</a></p>


этот текст?
b'\r\n<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd">\r\n<html lang="pt-br">\r\n<head>\r\n<title>Secretaria Municipal de Transportes - RIO</title>\r\n<meta http-
equiv="Content-Type" content="text/html; charset=iso-8859-1">\r\n<noscript>\r\n\t<meta http-equiv="Refresh" content="0;url=erro_noscript.asp">\r\n</noscript>\r\n<link rel="stylesheet" type="text/css" href="include/consulta.css" />\r\n<
link rel="stylesheet" type="text/css" href="include/calendario.css" />\r\n<script type="text/javascript" src="include/calendario.js"></script>\r\n<SCRIPT language="JavaScript" type="text/javascript"> \r\n\t//identifica IE\r\n\tvar ie =
false;\r\n\tvar ua = navigator.userAgent.toLowerCase();\r\n\tvar ie0 = (window.MSStream)? true : false;\r\n\tvar ie1 = ("ActiveXObject" in window)? true : false;\r\n\tvar ie2 = (window.ActiveXObject)? true : false;\t\r\n\tvar ie3 = (u
a.search("msie") >= 0)? true : false;\r\n\tvar ie4 = (ua.search("trident") >= 0)? true : false;\r\n\tif(ie0||ie1||ie2||ie3||ie4) {ie=true;}\r\n\r\n\tvar linkobs=0;\r\n\tvar bas_cal,dp_cal,ms_cal;      \r\n\twindow.onload = function ()
\r\n\t{\tdtini  = new Epoch(\'calendario_popup\',\'popup\',document.getElementById(\'dtinicial\'),false);\r\n\t\tdtfim  = new Epoch(\'calendario_popup\',\'popup\',document.getElementById(\'dtfinal\'),false);\r\n\t};\r\n\tvar lp="PLACA"
;\r\n\t\r\n    function zjmqLBfG(valImageId)\r\n\t{\tvar objImage = document.getElementById(valImageId);\r\n
источник

МС

Михаил Синегубов... in Scrapy
юзерагент чей? попробуй файерфоксовый
источник

AA

Artemiy Artemiy in Scrapy
Привет. Подскажите, как файл отправить с помощью requests?

https://voyant-tools.org/

Должен прийти в ответ ID созданного запроса, но его нет.
источник

AA

Artemiy Artemiy in Scrapy
import requests

headers = {
   'Connection': 'keep-alive',
   'Content-Length': '67278',
   'Cache-Control': 'max-age=0',
   'Upgrade-Insecure-Requests': '1',
   'Origin': 'https://voyant-tools.org',
   'Content-Type': 'multipart/form-data; boundary=----WebKitFormBoundarylLEy1IUOhp7h4sfQ',
   'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.66 Safari/537.36',
   'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9',
   'Sec-Fetch-Site': 'same-origin',
   'Sec-Fetch-Mode': 'navigate',
   'Sec-Fetch-User': '?1',
   'Sec-Fetch-Dest': 'iframe',
   'Referer': 'https://voyant-tools.org/',
   'Accept-Language': 'ru-RU,ru;q=0.9,en-US;q=0.8,en;q=0.7,en-GB;q=0.6',
}

files = {'file': open('1.json', 'rb')}
r = requests.post('http://voyant-tools.org/trombone', files=files, headers=headers)
print(r.status_code)
print(r.text)
источник

МС

Михаил Синегубов... in Scrapy
а что есть?
источник

AA

Artemiy Artemiy in Scrapy
источник

AA

Artemiy Artemiy in Scrapy
а должно прилететь вот так.
источник

AA

Artemiy Artemiy in Scrapy
источник

МС

Михаил Синегубов... in Scrapy
хз, снифера нету что бы посмотреть что именно шлет, но, сразу в лоб
'Content-Type': 'multipart/form-data; boundary=----WebKitFormBoundarylLEy1IUOhp7h4sfQ',

оно точно должно быть?
источник

МС

Михаил Синегубов... in Scrapy
в смысле, точно принудительно  должно задаваться?
источник

AA

Artemiy Artemiy in Scrapy
Михаил Синегубов
в смысле, точно принудительно  должно задаваться?
без него то же самое. по-разному пробовал. А чем посмотреть запросы. Charles?
источник