АП
Зависит от того что и как ты сделал.
Size: a a a
2019 July 05
АП
Композиция, наследование и миксины, вот ± что можно делать.
АП
Для начала в миксин.
s
Для начала в миксин.
не понял за миксин. просто я могу эти функции вынести в другой файл или папку, и вот куда это делает скрапи сообщество, вот в чем вопрос =)
ВН
не понял за миксин. просто я могу эти функции вынести в другой файл или папку, и вот куда это делает скрапи сообщество, вот в чем вопрос =)
у тебя много класов с похожими функциями? ели да то делай миксин
AS
та нет, просто класс большой паука.
я разбил на функции и вынес несколько в отдельный файл, создав в папке спайдерс пэкэдж и там файл.
названия файлу и директории может не совсем точные передал, но так проще ориентироваться теперь в коде
я разбил на функции и вынес несколько в отдельный файл, создав в папке спайдерс пэкэдж и там файл.
названия файлу и директории может не совсем точные передал, но так проще ориентироваться теперь в коде
выносить в отдельные файлы имеет смысл, если ты будешь их импортировать в других пауках, т.е. у тебя есть файл с utils в котором лежать полезные функции, которые можно применить для разных пауков
AS
а если они актуальны только для одного конкретного, то выносить их отдельно особо ничего не дает, даже делает разработку немного сложнее, потому что надо иметь несколько открытых файлов, там править тут запускать ну и тд и тп
2019 July 06
2019 July 07
RV
> самое главное что парсером на него зашел 2 раза и сразу такая чипуха появилась
Айпишник попал под подозрение, обычное дело, если парсер не ведет себя как нормальный браузер (не пингует фингерпринтами, не исполняет джс, нет истории, порядок хедеров нетипичный).
Айпишник попал под подозрение, обычное дело, если парсер не ведет себя как нормальный браузер (не пингует фингерпринтами, не исполняет джс, нет истории, порядок хедеров нетипичный).
RV
> у меня есть функция с которой я хочу сделать два елд реквеста с колбэками на две разные функции.
Чтобы сформировать один айтем? Если да - тогда проброс через промежуточный коллбек, с передачей контекста через мету. parse_profile -> parse_email -> parse_phone
Чтобы сформировать один айтем? Если да - тогда проброс через промежуточный коллбек, с передачей контекста через мету. parse_profile -> parse_email -> parse_phone
2019 July 08
M
Я не понимаю, как пофиксить это и гугл не особо дает решение
]
[Failure instance: Traceback: <class 'twisted.internet.error.NoRouteError'>: No route to host: 10051: A socket operation was attempted to an unreachable network..
--- <exception caught here> ---
C:\Users\Administrator\AppData\Local\Programs\Python\Python36\lib\site-packages\scrapy\core\downloader\middleware.py:43:process_request
]