Там все просто

def start_requests(self):
    for url in self.start_urls:
        yield scrapy.Request(url, dont_filter=True)

Парни подскажите по CONCURRENT_REQUESTS  Сделал два эксперимента чтоб проверить скорость парсинга на разном количестве потоков. Первый раз запустил на 20 потоков. второй раз на 100 потоков. И результат по скорости парсинга примерно одинаков, даже на 100 потоках были периоды когда хуже парсило чем на 20. Прокси одни и те же, все точно рабочие. Железо даже на 100 потоков загружено проц на 30% оператива на 10%. В чем тогда прикол? Может вообще оставлять значение по умолчанию на 16 потоков и не парится? все равно нет особой разницы по скорости парсинга. А у вас как?

это на 20-ти потоках

это на 100 потоков

Скорость парсинга обычно упирается в сеть и сервер, а не в твое железо

Плюс, скрапи хоть и удобный, но не самый быстрый

парсер пашет на хецнер облаке https://www.hetzner.com/cloud-ru   (2 vCPU 4ГБ RAM)

а у тебя вообще как, есть прямая зависимость скорость==количество потоков?

Я не заморачиваюсь таким, на дэфолтных настройках работаю

то есть 16 потоков?

Да

не твой сервер, а тот, который скрейпишь

паршу prom.ua у них думаю сервера мощные)

ну тебе виднее

опять же прокси должен это всё успевать

в пуле 2000 скоросных проксей

Лол, пул

Подскажите из-за чего могут быть вот такие ошибки? <twisted.python.failure.Failure OpenSSL.SSL.Error: [('SSL routines', 'ssl3_read_bytes', 'sslv3 alert handshake failure')]>

скорее всего слишком старый опенссл и/или питоньи опенссльные модуля

как узнать абслютный путь элемента в requests_html?
вот нашел элемент по айди, теперь хочу узнать его абсолютный путь