Spider idle так се

Условно говоря 98 запросов отработают за 10 секунд а 2 будут висеть 3 минуты

Пока они не отвалятся новая пачка не заскедулится

Но это может не быть критично

Индивидуально же

Напомните сайт, где можно curl вставлять

Нашел

Можете посоветовать сайт, где можно потренироваться в парсинге на сайтах, где есть авторизация?

Насчёт spider_idle и прочего не вижу ничего плохого. Дубликаты ловить базой, если Сай один - норм отрабатывает.
Если, конечно, куча сайтов - могут быть зависоны.
А так, на нескольких десятков млн записей успешно отрабатывало

Ozon

Спасибо

Ну 3 минуты норм, если это раз в час случается. А так да, надо иметь в виду

Да, такой план и есть, спасибо, что подтвердили

Скока тайм-аут поставите стока и будет))

алгоритм, который у меня успешно работает на многих пауках.
1. в базе уникальность по URL, отключаешь нафих фильтр дубликатов в скрапи, потому что их не будет
2. для ссылок есть еще поле статус, по умолчанию он "0"\
3. когда забираешь ссылки, ставишь для них статус "1"
4. после обработки меняешь статус, либо по коду ответа (200, 404 и т.д.), либо свои номера вводи. Я ошибки обычно отрицательными пишу

это не идеал, Женя правильно написал, паук будет дожидаться, когда последняя ссылка обработается. Но, если у тебя все ссылки (или практически все) рабочие, то и так все норм.
И да, конечно же, идеально заморочаться планировщиком, но, я, пока, не добрался до них :).

Ну и, код паука, который у меня обычно работает:

https://gist.github.com/Mifody/7e48f64417e4c7dbe1d5777b2aebdab7

Да, спасибо, у меня ровно такой флоу и был в голове. Надо только поэкспериментировать сколько линков за раз выгружать из базы и скармливать потом в очередь реквестов скрапи, чтобы память вся не съедалась - 10к, 100к или сколько.

Ребят, есть идеи, почему у меня вместо текста в теге <span> (34 Eur) находит 'AAA'?

да, много

Можно самую очевидную?

разрываюсь между "в странице написано "ААА"" и "селектор выбрал не тот элемент"