AR
"по всему списку allowed_domains" никто не бегает, конечно
Size: a a a
2020 March 23
AR
а в start_urls больше десятка урлов класть не стоит в текущей версии, это правда
РТ
тогда у меня будет ~20 пауков, у которых меняется только домен)) - это норм?)
VB
а в start_urls больше десятка урлов класть не стоит в текущей версии, это правда
А как тогда лучше это делать?
К
тогда у меня будет ~20 пауков, у которых меняется только домен)) - это норм?)
Тоже не норм
МС
а в start_urls больше десятка урлов класть не стоит в текущей версии, это правда
😳, а вот нафига так сделали?
AR
😳, а вот нафига так сделали?
МС
тогда у меня будет ~20 пауков, у которых меняется только домен)) - это норм?)
ты можешь написать BasicSpider и остальные наследовать от него, ООП и все такое...
это может показаться "п...ц каким не удобным", но, это, в принципе, правильная логика. один домен = один паук.
Если так уж сильно хочется в один паук все совать, кури "priority" в scrapy.Request, но не уверен, что он тебя спасет. По крайней мере, меня не спас (но я не сильно старался)
это может показаться "п...ц каким не удобным", но, это, в принципе, правильная логика. один домен = один паук.
Если так уж сильно хочется в один паук все совать, кури "priority" в scrapy.Request, но не уверен, что он тебя спасет. По крайней мере, меня не спас (но я не сильно старался)
AR
не спасёт
AR
вообще это ненормально когда много стартовых урлов прямо в пауке, обычно если их много, то их берут из внешнего источника
МС
стоп, так "больше 20" это именно про start_urls? (у меня анкглийский херовый).
Пост о том что "узайте start_requests"&
Пост о том что "узайте start_requests"&
VB
А если в старт реквест они читаются с файла к примеру в self.start_url это норм?
AR
стоп, так "больше 20" это именно про start_urls? (у меня анкглийский херовый).
Пост о том что "узайте start_requests"&
Пост о том что "узайте start_requests"&
это про результат start_requests, неважно стандартного или своего
AR
А если в старт реквест они читаются с файла к примеру в self.start_url это норм?
с точки зрения логики да, с точки зрения ограничения один хрен, если реквесты возвращаются из start_requests
МС
хм, у меня как раз ситуация, что стартовых ссылок овердохрена....
один плюс - в базе хранятся статусы всех ссылок, так что не знаю даже, косячил скрапи или нет.
И да, на старте, потенциально, бывало более 200 тыс...
один плюс - в базе хранятся статусы всех ссылок, так что не знаю даже, косячил скрапи или нет.
И да, на старте, потенциально, бывало более 200 тыс...
🎅B
Так вообще можно классы писать?
AR
нет
🎅B
Хотя, наверное нет
🎅B
Как тогда написать этот класс? Через атрибут?
AR
это три разных класса