JW
Люди подскажите, а как грамотно и красиво в скрапи реализуется, запоминание места где был прерван парсинг, чтобы продолжить с того же места?
Size: a a a
2019 June 30
DD
Люди подскажите, а как грамотно и красиво в скрапи реализуется, запоминание места где был прерван парсинг, чтобы продолжить с того же места?
Я думаю, что это реализуется в базе данных. Типо добавляешь колонку со значениями тру или фалс и все
Y
Можно за два раза вывести😄
JW
Я думаю, что это реализуется в базе данных. Типо добавляешь колонку со значениями тру или фалс и все
А мб есть у кого, ссылка на красивую реализацию, чтобы велик франкенштейна не собирать.
AS
запрос делает - парсит - делает что-то секунды 3 - и опять запрос И НЕ ПОНЯТНО ОТКУДА ЭТИ 3 СЕКУНДЫ??
В сеттингс есть auto_throttling - попробуй его отключить :) по умолчанию скрейпи менеджит делеи между реквестами чтобы не перегружать сайты, которые ты парсишь
AS
AS
И остальное попробуй
i
А мб есть у кого, ссылка на красивую реализацию, чтобы велик франкенштейна не собирать.
посмотри, для начала, здесь, кажется, это как раз то, что тебе нужно: https://docs.scrapy.org/en/latest/topics/jobs.html
i
можно еще в консоли выполнить scrapy bench, чтобы проверить свое оборудование, сколько в идеальных условиях скрапи может выжать из себя, он создаст простой сервер на локальном компе и будет оттуда тянуть данные, правда лично у меня оно почему-то дохнет со словами о том, что не может подключиться к этому серверу, хех)