M
ну, тык, от тебя только и слышно "откуда эти 5 секунд взялись", на этот вопрос я тебе уже ответил😂
следующий попрос....
Size: a a a
2019 June 29
МС
M
<Response [200]>
<Response [200]>
<Response [200]>
<Response [200]>
<Response [200]>
<Response [200]>
<Response [200]>
<Response [200]>
<Response [200]>
<Response [200]>
<Response [200]>
<Response [200]>
<Response [200]>
<Response [200]>
<Response [200]>
<Response [200]>
<Response [200]>
<Response [200]>
<Response [200]>
<Response [200]>
<Response [200]>
<Response [200]>
МС
ты де неделю назад тож самое спрашивал, я думал ты уже перделал все :)
M
ты де неделю назад тож самое спрашивал, я думал ты уже перделал все :)
4
МС
откуда этот дилей я хз
ты не поверишь, но я тож х/з 😂
M
@classmethod
def from_crawler(cls, crawler, *args, **kwargs):
spider = super(KithspiderSpider, cls).from_crawler(crawler, *args, **kwargs)
crawler.signals.connect(spider.spider_idle, signals.spider_idle)
return spider
def spider_idle(self, spider):
for r in self.start_requests():
self.crawler.engine.schedule(r, spider)
raise DontCloseSpider
МС
def spider_idle(self, spider): - нафуя?
МС
ты читал как оно возникает?
МС
блин, от объясни, я про твой проект знаю чуть меньше чем нихрена. Что я тебе должен сказать?
ты делаешь все правильно, но правильно со стороны логики скрапи.
тебе это, как я понимаю, не подходит. Теперь овердохрена вариантов как дальше делать, а вот как - я вообще нихрена не знаю.
1. адреса страниц статичны?
2. количество страниц постоянно?
3. все адреса страниц находятся на первой странице?
4. а может все нужные станицы есть в сайтмапе?
5. а может адреса станиз зависят от пятен на солнце?
ты делаешь все правильно, но правильно со стороны логики скрапи.
тебе это, как я понимаю, не подходит. Теперь овердохрена вариантов как дальше делать, а вот как - я вообще нихрена не знаю.
1. адреса страниц статичны?
2. количество страниц постоянно?
3. все адреса страниц находятся на первой странице?
4. а может все нужные станицы есть в сайтмапе?
5. а может адреса станиз зависят от пятен на солнце?
МС
и как-то нормализировалось
алилуйя, я рад за тебя