A
Size: a a a
2020 September 12
A
И там можно сказать что тьі ентерпрайс и тебе 5000 в месяц
A
У меня есть для больших проектов, но ето мой мидвар, и он для больших проектов
A
И кому то отдавать не охота
A
И клаудфла в2 правда не могу обойти норм
A
Может кстати у кого есть ? Я б купил :)
A
S
Andrii
попытайся найти адрес минуя клоуд
S
что-то типа этого
https://securitytrails.com/blog/ip-address-behind-cloudflare
https://securitytrails.com/blog/ip-address-behind-cloudflare
A
О, интересно
A
чет у меня странно ведет себя паук, где то я натупил
правильно ли я построил логику работы паука?
правильно ли я построил логику работы паука?
def parse(self, response):
links = все линки на категории for page in links: -- захожу в каждую категорию yield scrapy.Request(page, callback = self.parse_page)
def parse_page(self, response):
page_links = получаю линки обьяв на странице for ads in page_links: - захожу в каждый линк yield scrapy.Request(ads, callback = self.parse_ads)
link_next_page = получаю ссылку на следующую страницу yield response.follow(link_next_page, self.parse_page) - передаю ссылку def parse_ads(self, response): - собираю данные yield {
'Phone': phone_number,
}