Size: a a a

2019 July 05

АП

Агент Печенька in Scrapy
Зависит от того что и как ты сделал.
источник

АП

Агент Печенька in Scrapy
Композиция, наследование и миксины, вот ± что можно делать.
источник

s

serhii in Scrapy
ок, и куда мне вынести эти функции на которые я разбил паука?
источник

АП

Агент Печенька in Scrapy
Для начала в миксин.
источник

s

serhii in Scrapy
Агент Печенька
Для начала в миксин.
не понял за миксин. просто я могу эти функции вынести в другой файл или папку, и вот куда это делает скрапи сообщество, вот в чем вопрос =)
источник

ВН

Влад Никандров in Scrapy
serhii
не понял за миксин. просто я могу эти функции вынести в другой файл или папку, и вот куда это делает скрапи сообщество, вот в чем вопрос =)
у тебя много класов с похожими функциями? ели да то делай миксин
источник

s

serhii in Scrapy
та нет, просто класс большой паука.
я разбил на функции и вынес несколько в отдельный файл, создав в папке спайдерс пэкэдж и там файл.
названия файлу и директории может не совсем точные передал, но так проще ориентироваться теперь в коде
источник

I

Ivan in Scrapy
serhii
а в браузере открывается сайт, капчи нет?
да открывает, через селениум его уже спарсил
источник

I

Ivan in Scrapy
кто-то стыкался с таким?
источник

I

Ivan in Scrapy
источник

I

Ivan in Scrapy
главное с телефона открывается сайт
источник

I

Ivan in Scrapy
уже vpn подключил, все кеши и куки почистил, всеравно
источник

I

Ivan in Scrapy
самое главное что парсером на него зашел 2 раза и сразу такая чипуха появилась
источник

AS

Alexander Serebrov in Scrapy
serhii
та нет, просто класс большой паука.
я разбил на функции и вынес несколько в отдельный файл, создав в папке спайдерс пэкэдж и там файл.
названия файлу и директории может не совсем точные передал, но так проще ориентироваться теперь в коде
выносить в отдельные файлы имеет смысл, если ты будешь их импортировать в других пауках, т.е. у тебя есть файл с utils в котором лежать полезные функции, которые можно применить для разных пауков
источник

AS

Alexander Serebrov in Scrapy
а если они актуальны только для одного конкретного, то выносить их отдельно особо ничего не дает, даже делает разработку немного сложнее, потому что надо иметь несколько открытых файлов, там править тут запускать ну и тд и тп
источник
2019 July 06

s

serhii in Scrapy
у меня есть функция с которой я хочу сделать два елд реквеста с колбэками на две разные функции.
но почему-то скрапи соглашается только один кол бэк делать.
у вас есть успешные примеры такого решения?
сенкс.
источник
2019 July 07

RV

Roman V in Scrapy
> самое главное что парсером на него зашел 2 раза и сразу такая чипуха появилась
Айпишник попал под подозрение, обычное дело, если парсер не ведет себя как нормальный браузер (не пингует фингерпринтами, не исполняет джс, нет истории, порядок хедеров нетипичный).
источник

RV

Roman V in Scrapy
> у меня есть функция с которой я хочу сделать два елд реквеста с колбэками на две разные функции.
Чтобы сформировать один айтем? Если да - тогда проброс через промежуточный коллбек, с передачей контекста через мету. parse_profile -> parse_email -> parse_phone
источник

E

Evgen in Scrapy
Делайте либо по порядку 1->2->3 либо inline_requests
источник
2019 July 08

M

Mohamad in Scrapy
Я не понимаю, как пофиксить это и гугл не особо дает решение

]
[Failure instance: Traceback: <class 'twisted.internet.error.NoRouteError'>: No route to host: 10051: A socket operation was attempted to an unreachable network..
--- <exception caught here> ---
C:\Users\Administrator\AppData\Local\Programs\Python\Python36\lib\site-packages\scrapy\core\downloader\middleware.py:43:process_request
]
источник